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WEtTERES siehe Mitteilung uber die Ubermittlung des intemationalen 
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VORGEHEN 2utreffend, nachstehender Punkt 5 



Internationales Aktenzeichen 
PCT/EP 00/00317 



Internationales Anmeldedatum 
(Tag/Monat/Jahr) 

17/01/2000 



(Fruhestes) Prioritatsdatum (Tag/Monat/Jahr) 

21/01/1999 



Anmelder 



SIEMENS AKTIENGESELLSCHAFT 



Dieser internationale Recherchenbericht wurde von der Intemationalen Recherchen behorde erstellt und wird dem Anmelder gem SB 
Artikel 18 Qbermittelt. Eine Kopie wird dem Intemationalen Buro ubermittelt. 

Dieser internationale Recherchenbericht umfaOt insgesamt _Z Blatter. 

PH Daruber hinaus liegt ihm jeweils eine Kopie der in diesem Bericht genannten Unterlagen zum Stand der Technik bei. 



1 . Grundlage des Berichts 

a. Hinsichtlich der Sprache ist die internationale Recherche auf der Grundlage der intemationalen Anmeldung in der Sprache 
durchgefuhrt worden, in der sie eingereicht wurde, so fern unter diesem Punkt nichts anderes angegeben ist. 

I | Die internationale Recherche ist auf der Grundlage einer bei der Behdrde eingereichten Ubersetzung der intemationalen 
Anmeldung (Regel 23.1 b)) durchgefuhrt worden. 

b. Hinsichtlich der in der intemationalen Anmeldung offenbarten Nucleotid- und/oder Aminosauresequenz ist die internationale 
Recherche auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das 

| | in der intemationalen Anmeldung in Schriflicher Form enthalten ist. 

| | zusammen mit der intemationalen Anmeldung in computertesbarer Form eingereicht worden ist 

I | bei der Behdrde nachtraglich in schriftiicher Form eingereicht worden ist 

I I bei der Behdrde nachtraglich in computeriesbarer Form eingereicht worden ist 

I I Die Erklarung, dafl das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht uber den Offenbarungsgehalt der 
intemationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

I I Die Erklarung, dafi die in computeriesbarer Form erfalften Informationen dem schriftfichen Sequenzprotokoll entsprechen 
wurde vorgelegt. 

2. Q Bestlmmte Anspruche haben sich als nicht recherchferbar erwlesen (siehe Feld I). 
3 - O Mangelnde EinheiHichkeit der Erfindung (siehe Feld II). 

4. Hinsichtlich der Bezeichnung der Erfindung 

PH wird der vom Anmelder eingereichte WortJaut genehmigt. 
| | wurde der Worttaut von der Behdrde wte folgt festgesetzt: 



dpst Available CopV 



Hinsichtlich der Zusammen fassung 

|Y] wird der vom Anmelder eingereichte WortJaut genehmigt. 

— wurde der Wortlaut nach Regel 38.2b) in der in Feld III angegebenen Fassung von der Behorde festgesetzt. Der 

| [ Anmelder kann der Behorde innerhalb eines Monats nach dem Datum der Absendung dieses intemationalen 

Recherchenberichts eine Stellungnahme vorlegen. 



Folgende Abbildung der Zeichnungen ist mit der Zusammenfassung zu verSffentlichen: Abb. Nr. 
PH wte vom Anmelder vorgeschlagen 

I I weil der Anmelder selbst keine Abbildung vorgeschlagen hat 
I I weil diese Abbildung die Erfindung besser kennzeichnet 



| | keine der Abb. 



lest A> 



Formblatt PCT/ISA/210 (Blatt 1) (Juli 1998) 



INTERN ATIONALEBRECHERCHENBERICHT r=^~ 

♦ fp 



ationaJes Aktenzeichen 

CT/EP 00/00317 



A. KLASSIFtZIERUNG DES ANMELOUNGSGEGENSTANDES 

IPK 7 G06F9/46 



Nach der Intemationalen PatentJdassifikation (IPK) Oder nach der nationalen Klassifikalton und der IPK 



B. RECHERCHIERTE GEBIETE 



Recherchierter Mindestprufstoff (Klasstfikationssystem und Klassifikationssymbole ) 

IPK 7 G06F 



Recherchierte aber nicht zum Mindestprufstoff gehorende Veroffentlichungen, soweit diese unter die recherchierten Gebiete (alien 



Wahrend der intemationalen Recherche konsultierte elektronische Datenbank (Name der Datenbank und evtl. verwendete Suchbegriffe) 



C. ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie" 


| Bezetchnung der Veroffentlichung, soweit erforderlich unter Angabe der in Betracht kommenden Teile 


Betr. Anspruch Nr. 


A 


EVANS 0 J ET AL: "DYNAMIC LOAD BALANCING 


1,25 




USING TASK-TRANSFER PROBABILITIES" 




PARALLEL COMPUTING, 






Bel. 19, Nr. 8, 






1. August 1993 (1993-08-01), Seiten 






897-916, XP000385007 






Seite 900, Absatz 3.1 -Seite 902 






Seite 902, Absatz 3.2 -Seite 903 




A 


EP 0 715 257 A (BULL SA) 


1,25 




5. Juni 1996 (1996-06-05) 




das ganze Dokument 





□ 



Weitere Verdffentlichungen sind der Fortsetrung von Feld C zu 
entnehmen 



El 



Siahe Anhang Patentfamilie 



"X 



* Besondere Kategohen von angegebenen Verdffentlichungen 
"A" Veroffentlichung, die den alkjemeinen Stand der Technik definiert, 
aber nicht als besondere bedeutsam anzusehen ist 

"E" alteres Dokument, das fedoch erst am odor nach dem intemationalen 
Anmeidedatum verdffentlicht worden ist 

"L" Veroffentlichung, die geekjnet ist, einen Prioritatsanspruch zwerfelnaft er- 
scheinen zu lassen. Oder durch die das Veroffentlichungsdatum einer 
anderen im Recherchenbericht genannten Veroffentlichung belegt warden «y 
soil Oder die a us einem anderen besonderen Grund angegeben ist (wie 
ausgefuhrt) 

"O" Verdffentlichung. die sich auf sine mundliche Offenbarung, 

eine Benutzung. eine Ausstellung oderandere MaBnahmen bezieht 
"P" Veroffentlichung, die vor dem intemationalen Anmeidedatum, aber nach 

dem beansnnjChtan Priftrit£tA/tatl Itn uorA«on+lii-+i+ UArHan iet & 



' Spatere Veroffentlichung, die nach dem intemationalen Anmeidedatum 
Oder dem Prioritatsdatum verdffentlicht worden ist und mil der 
Anmeldung nicht kollidiert, sondem nur zum Verstandnis des der 
Erfindung zugrundeliegenden Prinzips oder der ihr zugrundeiiegenden 
Theorie angegeben ist 

1 Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann allein auf grund dieser Verdffentlichung nicht als neu oder auf 
erf inderischer Tatigkeit beruhend betrachtet warden 

' Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann nicht als auf erf inderischer Tatigkeit beruhend betrachtet 
werden, wenn die Veroffentlichung mit einer oder mehreren anderen 
Verdffentlichungen dieser Kategorie in Verbindung gebracht wird und 
diese Verbindung fur einen Fachmann naheiiegend ist 

' Veroffentlichung, die Mitglied derselben Patentfamilie ist 



Datum des Abschlusses der intemationalen Recherche 

26. Mai 2000 


Absendedatum des intemationalen Recherchenberichts 

05/06/2000 


Name und Postanschrift der Intemationalen Recherchenbehorde 
Europaisches Patentamt, P.B. 5818 Paten«aan2 
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ttionates Aktenzetcnen 



PT/EP 00/00317 



lm Recherchenbericht 
angefuhrtes Patentdokument 


1 Datum der 
Veroffentfichung 


Mitglied(er) der 
Patentfamilie 


Datum der 
Ver6ffentiichung 


EP 0715257 A 


05-06-1996 


FR 


2727540 


A 


31-05-1996 






WO 


9617297 


A 


06-06-1996 






JP 


10507024 


T 


07-07-1998 






US 
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A 


30-11-1999 



FormWatl PCT/1 S A/210 (Anhang Patamfam2ie)(Jufl 1992) 



Qost Ax/nilnble CODV 



VERTRAG UBER 



m 



INTERNATIONALE ZUSAMT9TENARBEIT AUF DEM 
GEBIET DES PATENTWESENS 



pQj rec'd 0 2 MAY 2001 

INTERNATIONALER VORLAUFIGER PRUFUNGSBbHICH#- CT 

(Artikel 36 und Regel 70 PCT) -y 5- 



Aktenzeichen des Anmelders Oder Anwalts 
1999P01082WO 


siehe Mitteilung Qber die Obersendung des intemationalen 
WEITERES VORGEHEN vorlaufigen Prufungsberichts (Formblatt PCT7I PEA/4 16) 


Internationales Aktenzeichen 
PCT/EP00/00317 


Internationales Anmeldedatum (T ag/Monat/Jahr) 
17/01/2000 


Prioritatsdatum (Tag/Monat/Tag) 
21/01/1999 


Internationale Patentklassifikation (IPK) Oder nationale Klassifikation und IPK 
G06F9/46 




Anmelder 






SIEMENS AKTIENGESELLSCHAFT 





1. Dieser internationaie vorlaufige Prufungsbericht wurde von der mit der intemationalen vorlaufigen Prufung beauftragten 
Behorde erstellt und wird dem Anmelder gemaB Artikel 36 ubermittelt. 

2. Dieser BERICHT umfaBt insgesamt 6 Blatter einschlieBlich dieses Deckblatts. 

S AuBerdem liegen dem Bericht ANLAGEN bei; dabei handelt es sich um Blatter mit Beschreibungen, Anspruchen 
und/oder Zeichnungen, die geandert wurden und diesem Bericht zugrunde liegen, und/oder Blatter mit vor dieser 
Behorde vorgenommenen Berichtigungen (siehe Regel 70.16 und Abschnitt 607 der Verwaltungsrichtlinien zum PCT). 

Diese Anlagen umfassen insgesamt 25 Blatter. 



3. Dieser Bericht enthalt Angaben zu folgenden Punkten: 



II 


□ 


III 


□ 


IV 


□ 


V 




VI 


□ 


VII 




VIII 





Grundlage des Berichts 
Prioritat 

Keine Erstellung eines Gutachtens uber Neuheit, erfinderische Tatigkeit und gewerbliche Anwendbarkeit 
Mangelnde Einheitlichkeit der Erfindung 

Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

Bestimmte angefuhrte Unterlagen 

Bestimmte Mangel der intemationalen Anmeldung 

Bestimmte Bemerkungen zur intemationalen Anmeldung 



Datum der Einreichung des Antrags 



21/08/2000 



Datum der Fertigstellung dieses Berichts 



30.04.2001 



Name und Postanschrift der mit der intemationalen vorlaufigen 
Prufung beauftragten Behorde: 
Europaisches Patentamt 

D-80298 Munchen 
Tel. +49 89 2399 - 0 Tx: 523656 epmu d 

Fax: +49 89 2399 - 4465 



Bevollmachtigter Bediensteter 
Schneider, M 

Tel. Nr. +49 89 2399 7509 



Formblatt PCT/I PEA/409 (Deckblatt) (Januar 1994) 



INTERNATIONALER VORLAUFIGER 
PROFUNGSBERICKT 



Internationales Aktenzeichen PCT/EP00/0031 7 



I. Grundlage des Berichts 

1 . Hinsichtlich der Bestandteile der internationalen Anmeldung {Ersatzblatter, die dem Anmeldeamt auf eine 
Aufforderung nach Artikei14 hin vorgelegt wurden, gelten im Rahmen dieses Berichts ais "ursprunglich 
eingereicht" und sind ihm nicht beigefugt, weil sie keine Anderungen enthalten (Regein 70. 16 und 70. 1 7)): 
Beschreibung, Seiten: 

1-18 eingegangen am 28/02/2001 mit Schreiben vom 26/02/2001 

Patentanspruche, Nr.: 

1-26 eingegangen am 28/02/2001 mit Schreiben vom 26/02/2001 

Zeichnungen, Blatter: 

1/3-3/3 ursprungliche Fassung 



2. Hinsichtlich der Sprache: Alle vorstehend genannten Bestandteile standen der Behorde in der Sprache, in der 
die internationale Anmeldung eingereicht worden ist, zur Verfugung Oder wurden in dieser eingereicht, sofern 
unter diesem Punkt nichts anderes angegeben ist. 

Die Bestandteile standen der Behorde in der Sprache: zur Verfugung bzw. wurden in dieser Sprache 
eingereicht; dabei handelt es sich um 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen Recherche eingereicht worden ist (nach 
Regel 23.1(b)). 

□ die Veroffentlichungssprache der internationalen Anmeldung (nach Regel 48.3(b)). 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen vorlaufigen Prufung eingereicht worden 
ist (nach Regel 55.2 und/oder 55.3). 

3. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleotid- und/oder Aminosauresequenz ist die 
internationale vorlaufige Prufung auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das: 

□ in der internationalen Anmeldung in schriftlicher Form enthalten ist. 

□ zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

□ Die Erklarung, daG das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht uber den 
Offenbarungsgehalt der internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

□ Die Erklarung, daB die in computerlesbarer Form erfassten Informationen dem schriftlichen 
Sequenzprotokoll entsprechen, wurde vorgelegt. 

4. Aufgrund der Anderungen sind folgende Unterlagen fortgefallen: 



Formblatt PCT/1 PEA/409 (Felder l-VIII. Blatt 1) (Juli 1998) 



INTERNATIONALER VORLAUFIGER 
PRUFUNGSBERICHT Internationales Aktenzeichen PCT/E POO/0031 7 



□ Beschreibung, Seiten: 

□ Anspruche, Nr.: 

□ Zeichnungen, Blatt: 

5. E3 Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 

angegebenen Grunden nach Auffassung der Behorde uber den Offenbarungsgehalt in der ursprunglich 
eingereichten Fassung hinausgehen (Regel 70.2(c)). 

(Auf Ersatzbiatter, die solche Anderungen enthalten, ist unter Punkt 1 hinzuweisen;sie sind diesem Bericht 

beizufugen). — 

siehe Beiblatt 

6. Etwaige zusatzliche Berne rkun gen: 



V. Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

1. Feststellung 

Neuheit (N) Ja: Anspruche 1-26 

Nein: Anspruche 

Erfinderische Tatigkeit (ET) Ja: Anspruche 1-26 

Nein: Anspruche 

Gewerbliche Anwendbarkeit (GA) Ja: Anspruche 1 -26 

Nein: Anspruche 



2. Unterlagen und Erklarungen 
siehe Beiblatt 



VII. Bestimmte Mangel der internationalen Anmeldung 

Es wurde festgestellt, daB die internationale Anmeldung nach Form oder Inhalt folgende Mangel aufweist: 
siehe Beiblatt 



VIII. Bestimmte Bemerkungen zur internationalen Anmeldung 

Zur Klarheit der Patentanspruche, der Beschreibung und der Zeichnungen oder zu der Frage, ob die Anspruche 
in vollem Umfang durch die Beschreibung gestiitzt werden, ist folgendes zu bemerken: 
siehe Beiblatt 




Formblatt PCT/IPEA/409 (Felder l-VIII, Blatt 2) (Juli 1998) 




INTERNATIONALER VORLAUFIGER Internationales Aktenzeichen PCT/EPOO/0031 7 
PRUFUNGSBERICHT - BEIBLATT 

ZM PMPKt 1 

Grundlage des Berichts 

Die nachfolgend aufgefuhrten Anderungen bringen Sachverhalte ein, die im 
Widerspruch zu Artikel 34 (2) b) PCT uber den Offenbarungsgehalt der 
internationalen Anmeldung im Anmeidezeitpunkt hinausgehen: 

Das Merkmal des ursprunglich eingereichten Anspruchs 19 und Beschreibung S. 

6, Z. 19, dass, falls MPIs,der hochst^l^srentsprichtrgitt: q r (neu)=qcii-wurde 

in dem entsprechenden geanderten Anspruch 17 und Beschreibung S. 6, Z. 18 
ersetzt durch qi(neu)=c qv 

Fur diese Ersetzung gibt es in der ursprunglichen Anmeldung keine Grundlage. 
Aus S. 7, Zeile 25 und S. 15, Zeilen 19 und 30-31 der ursprunglichen 
Beschreibung in Verbindung mit dem ursprOnglichen Anspruch 19 wird klar, dass 
q c1 und c q1 unterschiedliche Konstante mit verschiedenen vorgeschlagenen 
Werten sind. 

Deshalb wird der Bericht erstellt, als seien die Anderungen nicht gemacht 
worden. 

Zu Punkt V 

Begrundete Feststellung nach Art. 35(2) hinsichtlich der Neuheit, der 
erfinderischen TStigkelt und der gewerblichen Anwendbarkeit; Unterlagen 
und Erkldrungen zur Stutzung dieser Feststellung 

Wegen der unter Punkt VIII angefuhrten Unklarheit werden die folgenden 
Aussagen getroffen unter dem Vorbehalt einer Interpretation der Anspruche 
gemaf3 den entsprechenden Bemerkungen unter Punkt VIII. 

Es wird auf das folgende Dokument verwiesen: 



FormWatt PCT/BeibtaH/409 (Btatt 1) (EPA- April 1997) 




INTERNATIONALER VORLAUFIGER Internationales Aktenzeichen PCT/EP00/0031 7 
PRUFUNGSBERICHT - BEIBLATT 

D1: EP 0645702 

D1 wurde in der Anmeldung angegeben. Eine Kopie des Dokuments liegt bei. 

1 . Der Gegenstand des Anspruchs 1 ist neu und erfinderisch im Sinne von 
Artikel 33(2) und 33(3) PCT. 

D1 offenbart (vgl. insb. S. 6, ZeUe29-S797Zeile SrZeichnungen 3 und 4) unter 

Andersbezeichnung der aktuellen Last als "a" und der angebotenen Last als - 
tatsachiich am Prozessor aniiegende Last a' " aiie wesentlichen Merkmale des 
Anspruchs 1, mit den folgenden Ausnahmen: 

Die in Anspruch 1 genannte Verwendung eines verteilbaren Anteils V zur 
Abschatzung der angebotenen Last wird in D1 zur Abschatzung der 
entsprechenden anliegenden Last nicht explizit erwahnt. Dieses Merkmal ware 
aber wegen D1, S. 3, Zeilen 26-32, S. 7,Zeilen 55-58 nahe liegend und scheint 
in der Formel auf D1 , S. 7, Zeile 1 4 durch den Faktor "d" angedeutet zu sein. 

GemaB D1 verteilt jeder Prozessor seine verteilbare Last an andere 
Prozessoren, wenn eine eigenstandige Lastbalanzierungsflagge LBF gesetzt ist 
(siehe D1. S. 9,Zeilen 2-5), w3hrend gemaB Anspruch 1 die Verteilung 
geschieht, wenn die Verteilquote q, einen vorgegebenen Wert q v Oberschreitet. 
Diese Veranderung des Stands der Technik wird durch die im 
Recherchenbericht angegebenen Dokumente oder D1 selbst weder aufgezeigt 
noch nahegelegt. 

Das Verfahren in Anspruch 1 erlaubt bei entsprechend gewahltem Wert q v fur 
jeden Prozessor bereits bei niedriger Belastung einen sanften Einstieg in die 
Lastverteilung. Beim Verfahren von D1 wird fur jeden Prozessor bei 
uberschreiten einer gewissen Uberlastung schlagartig von keiner Verteilung auf 
moglichst hohe Verteilung umgestellt, was zu Lastschwingungen fuhren kann. 



Formblatt PCT/Beiblatt/409 (Btatt 2) (EPA-Aprfl 1997) 



INTERNATIONALE!* VORLAUFIGER 
ppfppiMfiftRgmCHT - BEIBLATT 



.ntemationales Aktenzeichen PCT/EP00/0031 7 



? Der Geqenstand der von Anspruch 1 abhangigen Anspruche und des 
Lbhana^n Anspruchs 25 in Kombination mit den Merkmaien des Anspruchs 
™ Z eTderisch im Sinne von A rt i k e, 33(2) und 33(3, .PCT. da d.ese 
Anspruche alle wesentlichen Merkmale des Anspruchs 1 bemhalten. 

7 H puntct VII 

Pf n ii rpmt ft Man - r' intematinnalen Anmeldung 

"Die Beschreibung auf S. 3-steHrnichtrwie in-Regel-5 s -1-a)-iii)-P-CJ 

vorgeschrieben, in Einklang mit den Anspruchen. 

7n Pnnkt VIII 

Bestlmmte Bemerkungen zur Internatlonalen Anmeldung 

Die Nummerierung der Anspruche uberspringt die Ziffer 5. 

Der unabhangige Anspruch 25 enthalt nicht, wie von Artike. 6 PCT ir |Ve«ndung 
rn" Regl. 6.3 b) PCT «r unabhangige Anspruche gefordert. a.«e fur d» Definfon 
der Erfindung wesentlichen Merkmale: 

Fur das System von Anspruch 25 1st zusatziich zu den dort bereiU £*«^ n 
Merkmaien auch das Merkma. aus Anspruchs 26 ™^ZZ^e 
der Erfindung zu erfullen, da aus der Beschreibung kerne dazu alternate 
Moglichkeit ersichtlich ist. 



FomiblaH PCT/Baiblatt/409 (Hatt 3) (EPA-April 1997) 



"28-02^2001 ;R 99 P 10 82 



PCT/EP00/0031 7 



10 



15 



20 



25 



30 



Beschreibung 

Lastverteilungsverf ahren eine 
Multiprozessorsystem 



T)ESCRAMD : 



s Multiprozessorsystems und 



Die Erfindung betrifft ein Verf ahren zur Lastverteilung in 
eineni Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystem eines Kcmmunikationssystems , bei dem 
_anf allende_Aufq aben von mehre ren Prozessoren MPj (mit 



1=1,2, . . . . ,n) unter Realzeitfcedingungen abgearbeitet werden 
konnen und ein Multiprozessorsystem, insbesondere eines 
Kommunikat ions systems, mit einem Lastverteilungsmechanismus . 

Ein ahnliches Verfahren zur Lastverteilung in einem 
Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystem eines Kominunikat ions systems , ist 
beispielsweise aus der Europaischen Patentanmeldung EP 0 645 



702 Al der Anmelderin bekannt 
Verfahren zum Lastenausgleich 
insbesondere ein Multiprozess 



Diese Schrift offenbart ein 
in einem Multiprozessorsystem, 
Dr system eines 



Kommunikationssystems, bei den anfallende Aufgaben von 
mehreren Prozessoren unter Realzeitbedingungen abgearbeitet 
werden konnen, wobei zur Durcifuhrung des Lastausgleiches 



allgemein die folgenden Verfa 

- jeder Prozessor ermittelt s 
quantif izierten Grofte, 

- jedem Prozessor werden die 
Prozessoren innerhalb eines Z 

- jeder Prozessor gibt in Abhingigkeit vom Uberschreiten 



einer bestimmten Grofie seines 
Abhangigkeit von den Lastzust 
zumindest einen Teil der bei 
ubrigen Prozessoren ab, und 



irensschritte genannt sind: 
sinen Lastzustand in Form einer 

Lastzustande der anderen 
sitrasters mitgeteilt, 



Lastzustandes und in 
anden der ubrigen Prozessoren 
ihm anfallenden Aufgaben an die 



^rinted:22-03-i6bl 



GEANDERFES BUST 



'28-0242001 ;r 99 P 1082 



10 



15 



20 



25 



30 



35 



rPCT/EPOO/00317 



- die abgegebenen Aufgaben we: 
Lastzustanden der ubrigen Pre 



Im Ausf uhrungsbeispiel wird c as Verfahren dahingehend 



konkretisiert, dad im Betriet 
die Lastverteilung, die hier 
bestimmten Oberlast beginnt, 
werderi; nach denen die einze3 



verteilt. Damit geht aber unn 
Reduktion der Oberlastschwell 



DESCPAMD 



rden entsprechend den 
zessoren auf diese aufgeteilt 



standig und vor dem Einstieg in 
erst ab dem Erreichen einer 
Verteilungsquoten errechnet 
nen Prozessoren im Fall der 
fth-PTl-a-sf"an-ande-r-e-P-rozessor.en-ihr,e_ve rteilbare Last abgeben . 
1st das System dauerhaft ungl eichmafiig ausgelastet, so wird 
die Last erst bei Oberlast eijnes oder mehrerer Prozessoren 



otige Lastabwehr einher. Die 
e auf einen niedrigeren Wert 
fuhrt zu keinem bef riedigenden Ergebnis, weil dann unnotig 
viel Last verteilt wird und es zu Schwingungszustanden kommen 

sich aus der dort getroffenen 
r die ungleichmafiige Belastung 



kann. Diese Situation ergibt 
Annahme, daft die Oberlast ode 
von kurzer Dauer ist. 



Des weiteren wird auf Evans D 
Balancing using Tasktransfer 
Computing, Bd. 19, Nr. 8, 1. 
hingewiesen, in der auch eine 
Beriicksichtigung von Lastvert 
dargestellt wird, wobei jedoch ausschlieftlich aktuell 
gemessene Werte Berucksichtigang finden. Die zeitliche 
Entwicklung der betrachteten 
Beachtung. 



J. et al, „ Dynamic Load 
Probabilities^ in Parallel 
August 1993, Seiten 897-916, 

Lastverteilungsstrategie unter 
5ilungswahrscheinlichkeiten 



Parameter findet keine 



Es ist daher Aufgabe der Erfiidung, ein verbessertes 



Lastverteilungsverf ahren fiir 
anzugeben, welches rechtzeiti 
dadurch dauerhafte Schieflast 



5in Multiprozessorsystem 
5 und "weich" einsetzt unci 
zustande im Lastangebot ohne 



Lastabwehr bewaltigt. Auflerdem soli auch ein entsprechendes 
Multiprozessorsystem angegebe:i werden. 
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DESCBAMD 



Die Aufgabe wird einerseits c:urch ein Verfahren mit den 
Verf ahrensschritten des ersten Verf ahrensanspruches und 
andererseits durch ein Multiprozessorsystem mit den Merkmalen 
des ersten Vorrichtungsanspn ches gelost. 

Demgemaft schlagen die Erfindex ein Verfahren zur 
Lastverteilung in einem Multi prozessorsystem, insbesondere in 
einem Multiprozessorsystem eines Kommunikat ions systems , bei 



_dem_a nfallende Aufgaben von 



mehreren Prozessoren MP± (mit 



10 i=l, 2, . . . . , n) unter Realzeitt edingungen abgearbeitet werden 



konnen, rr.it folgenden iterati 
CI wiederholenden Verfahrenss 
jeder Prozessor MPi ermi 
Lastzustand Y± und schat 
mitgeteilten Verteilungs 



Lastanteil) und dem typi 
einer typischen Aufgabe 



jeder Prozessor MPi teil 
MPbii den jeweils andere 



jeder Prozessor MPi best 
Lastvertei lungs f aktoren 



ven und sich in Zeitintervallen 
chritten vor: 

:telt seinen tatsachlichen 
it in Abhangigkeit von zuvor 
quoten qi(alt) (mit qi=an andere 



Prozessoren MP k nach Moglichkeit zu verteilender 



scherweise verteilbaren Anteil V 
seine angebotene Last Ai, die zu 



einem mehrwertigen Lastipdikationswert (Balancing 
Indicator) MPbii fuhrt, 



*: seinen Lastindikationswert 
n Prozessoren MP k (mit 



k=l, 2, . . . i-1 r i + 1 f • • • n) mittelbar oder unmittelbar mit, 



::.mmt seine 
pij (mit j=l,2,....n) in 
Abhangigkeit von den Lasjtindikationswerten MPbi k dieser 
anderen Prozessoren MPk, 

jeder Prozessor MPi bestimmt seine Verteilungsquote 
qi(neu) in Abhangigkeit von seinem tatsachlichen 
Lastzustand Yj. und den LcLstverteilungsf aktoren Pij 
jeder Prozessor MPi vertesilt anhand seiner Quote q ± und 



seiner Lastverteilungsf a 



Last an andere Prozessoren MP k , wenn seine 
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Verteilungsquote q ± (neu; 
iiberschreitet . 



Zur Abschatzung der angeboter 
ist es vorteilhaft, die Formql 
und Yi konnen in der Einheit 
die Variablen qi und V entspr 
dimensionslose Bruchteilangafc 



10 Vorteilhaft ist auch eine Unterteilung des mehrwertigen 



Lastindikationswertes (balanc 
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einen vorgegebenen Wert q v 



en Last A± eines Prozessors MPi 

Ai :=Yi/ (l-q±V) zu verwenden. Ai 
Elrlang angegeben werden, wahrend 
echend ihrer Bedeutung 
en sind. 



ing indicator) MPbii in drei 



diskrete Werte, wobei vorzugsweise die folgende Abgrenzung 
mit Schwellenwerten gilt: NOBMAL fur MPbi ± , wenn die 
Prozessorausiastung 0 bis 70% betragt, HIGH fur MPbii, wenn 
die Prozessorausiastung 70% bis 85% betragt, und OVERLOAD fur 
MPbii, wenn die Prozessorausiastung iiber 85% betragt. 



Vorteilhaft ist es auch, wenn 
Last zustandswechsel aufgrund 
oder Schwellenwertunterschrei 
fallender Prozessorausiastung 



eine Hysterese bei 
von Schwellenwertiiberschreitung 
tung bei steigender oder 
eingefuhrt wird. 



Hy 



Aufterdem kann es vorteilhaft 
Lastindikationswert (balancin 
Anderungen einer zeitlichen 
eine gewisse Tragheit erfahrt 
vorteilhaft Werte von 1 bis 2 
werden . 



sein, wenn der 

g indicator) MPbii bezuglich 

sterese unterliegt und damit 
. Als Hysteresegrenze konnen 
Zeitinteryallen CI angenommen 



Weitere vorteilhafte Annahmen 
erf indungsgemaften Verfahrens 
Anteil V einer typischen Aufg^be 
oder maximale Anteil sein und 



bei der Durchfuhrung des 
sind: der typische verteilbare 
soil der durchschnitt liche 
als typische Bearbeitungszeit 
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einer Aufgabe soli eine durchschnittliche oder maximale 
Bearbeitungszeit einer Aufgabe angenommen werden. 



Vorteilhaft kann hierbei der 
Maximalwert eines Anteils be2 
wahrend der Betriebszeit star 



jeweilige Durchschnittswert oder 
iehungsweise einer Aufgabe auch 
dig ermittelt und gegebenenf alls 



als gleitender Wert mitgefuhrt und aktualisiert in das 
Lastverteilungsverf ahren ubei nommen werden. Giinstig ist es 



hierbei, wenn die Zeitdauer, 



ermittelt werden, grofi gegenqber dem Kontrorr±nt'exvai-l— O-I- 
ist . 



iiber die die gleitenden Werte 



Besonders vorteilhaft ist es 
Wert q v der Verteilungsquote 
verteilbare Last an andere Pr 
0,05<q v <0,3, vorzugsweise 0, 



auch, wenn fur den vorgegebenen 
3i, ab dem der Prozessor MPi 
ozessoren MP k verteilt, gilt: 
l)cq v <0,25, vorzugsweise q v =0,2. 



lge:ide 



Weiterhin kann das erfindungs 
vorteilhaft ausgestaltet werd 
Verteilungsquote q± die fo 
Pii := 0 

falls MPbij einer mittle 
MPbi-j -NORMAL, gilt: 
j=l , . . . , n und i^j 
falls MPbij einer hohen 
MPbij=HIGH gilt: p ±j (neu) 
und i*j 

falls MPbij einer Oberla 
MPbij=OVERLOAD, gilt: p ±j 
wobei die pij (j=i,.., n > m it 
normiert wird und 
als Initialisierungswert 
Verteilungsprozesse alle 
sind . 



gemalie Verfahren besonders 
en, wenn bei der Berechnung der 
n Kriterien erfullt werden: 
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e Last entspricht, vorzugsweise 
Pij(neu) = pij (alt) +p cX /n, fur 

ast entspricht, vorzugsweise 
= pij (alt) -p C 2/n, fur j=l,...,n 

t entspricht, vorzugsweise 
ineu) = 0 

der Summe p sum der pij auf 1 

beim Beginn der 

pij, ausgenommen pu, gleich 
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angenommen werden. Ebenso ist 
Konstante p c2 0,l<p c2 <0,5 f vor 
vorzugsweise p C 2=0,25 zu setz 



konnen fiir die Konstante p c i 



0,l<p c i<0,5, vorzugsweise 0 , 2 :p c i<0 , 3 und vorzugsweise Pci^O^S 



es vorteilhaft fur die 
zugsweise 0,2<p C 2<0,3, 
en. Auch kann der 



Initialisierungswert der p±j beim Beginn der 
Verteilungsprozesse gleich (r 



Weiterhin kann das erf indungsgemafle Verfahren besonders 
vorteilhaft ausgestaltet wercen, wenn jeder Prozessor MPi 



-l)" 1 gesetzt werden. 



anhand seiner tatsachlichen a 
mehrwertigen Laststatus (load 



ktuellen Last Yi einen 
state) MPlsi bestimmt und bei 



der Berechnung der Lastindikat ionswerte MPbii die folgenden 
Kriterien erfullt werden: 



Last entspricht, vorzugsweise 
eu)=c ql , 



astzustand Yi groBer als ein 
3ld H ist, wird qi vergroliert mit 



einen Zwischenwert zwisc 
Alternatives vorzugswei 



falls MPlsi der hochsten 
MPlSi=EXTREME, gilt: qi (r(< 
falls p S um ^ 1 gilt: 
falls der tatsachliche Lfc 
vorgegebener Wert thresh 
qi=min{qi+c ql , 1} , 

falls der tatsachliche Lkstzustand Y ± kleiner als ein 

>Ld N ist, wird qi verkleinert mit 
qi=max{qi-c q 2, c q3 }, mit 0 Cc q3 <q v , vorzugsweise c q3 =0,l, 
andernfalls (threshold N < Y ± < threshold H ) erhalt qi 

Men den beiden oben genannten 
..se durch lineare Interpolation 



falls p sum < 1 gilt: qi (nesu) =qi (alt ) * p sura . 

Bezuglich des mehrwertigen Laststatus (load state) MPlsi wird 
als besonders bevorzugt die A:inahme von vier diskreten Werten 
vorgeschlagen, wobei vorzugsweise angenommen wird: NORMAL fur 
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MPlSi, wenn die Prozessorauslastung unter 70% liegt, HIGH fur 
MPlSi, wenn die Prozessorauslastung 70% bis 85%, OVERLOAD fur 



MPlSi, wenn die Prozessorausl 
EXTREME fur MPlsi, wenn dauer 
vorherrscht. Auch hier kann € 
Laststatus (load state) MPlSi 
Hysterese unterliegt. Als H> 
Werte von 1 bis 2 Zeitintervs 



astung iiber 85% liegt und 
haft der Lastzustand OVERLOAD 
s vorteilhaft sein, wenn der 
beziiglich Anderungen einer 
steresegrenze konnen vorteilhaft 
lien CI angenommen werden. 



10 Zur optimalen Ausgestaltung ces Verfahrens sind fur die 
Konstante c q i die folgenden Zahlenbereiche und -werte 
bevorzugt : 0, 05<c q i<0 , 3, vorzugsweise 0,1< c q i<0,2, 
vorzugsweise c q i=0,15. Aufterdem kann fur die Konstante c q 2 
vorzugsweise 0,05< c q2 <0,2 / vorzugsweise c q2 -0,10 angenommen 



15 werden. 



thresh 



Beziiglich der Konstanten 
Wertebereich: 0,6< threshold N 
=0,7. 

Beziiglich der Konstanten thre 
Wertebereich: 0,7< threshold H 
=0, 85. 

Eine andere Ausgestaltung des 
sieht vor, dad zusatzlich in 
Oberlastwert ■ OLi der Prozesso: 
Mali fiir die GroJie der Oberlas 
Uberlastabwehr dient, mit OLi 
Quantif izierung fur die Oberl 
und die Verteilungsquote qi a 
falls OLi>0 mit q ± (neu) : =min{ 



old N gilt als bevorzugter 
<0,8, vorzugsweise threshold N 



shold H gilt als bevorzugter 
<0,95, vorzugsweise threshold H 



erf indungsgemalien Verfahrens 
jedem Zeitintervall CI ein 
en MPi ermittelt wird, der ein 
t ist und als Mafistab zur 
0,1,... m, wobei OLi eine 
ast des Prozessors darstellt, 
f jeden Fall vergroflert wird, 
i(alt) +c q i, 1} . 



ci 
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Erf indungsgemafl besteht auch die Moglichkeit, eine Adaption 
des Lastverteilungsverf ahrens an sich andernde 
Randbedingungen durchzuf uhren, indem die oben angegebenen 
Konstanten (q V / Pd, Pc2/ qci/ qc2/ thresholds threshold^ c q i, 
Cq2/ c q3 ) im Betrieb zumindest teilweise angepafit werden. 

Erf indungsgemafl wird auBerdem ein Multiprozessorsystem, 
insbesondere eines Kommunikationssystems, mit mehreren 



Prozessoren MPi (mit i=l, 2, . . . . , n) zur AusfOhrung anf ari'ender - 
10 Aufgaben unter Realzeitbedingungen, vorgeschlagen, wobei: 
jeder Prozessor MPi Mittel aufweist, um seinen 
tatsachlichen Lastzustand Yi zu bestimmen, und in 
Abhangigkeit von zuvor mitgeteilten Verteilungsquoten 
qi(alt) (mit qi=an andere Prozessoren MPjc nach 
15 Moglichkeit zu verteilender Lastanteil) und dem 

typischerweise verteilbaren Anteil V einer typischen 
Aufgabe seine angebotene Last Ai zu schatzen, die zu 
einem mehrwertigen Lastindikationswert (Balancing 
Indicator) MPbii fuhrt, 
20 - jeder Prozessor MPi Mittel aufweist, um seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP k (mit k=l , 2, . . . i-1, i+1, . . . n) mittelbar 
oder unmittelbar mitzuteilen, 

jeder Prozessor MPi Mittel aufweist, um seine 
25 Lastverteilungswahrscheinlichkeiten pij (mit 

j=l,2,....n) in Abhangigkeit von den 

Lastindikationswerten MPbi k dieser anderen Prozessoren 
MPk zu bestimmen, 

jeder Prozessor MPi Mittel aufweist, um seine 
30 Verteilquote qi(neu) in Abhangigkeit von seinem 

tatsachlichen Lastzustand Yi zu bestimmen, und 
jeder Prozessor MPi Mittel aufweist, um anhand seiner 
Quote qi und seiner Lastverteilungsf aktoren pij seine 
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verteilbare Last an andere Prozessoren MP* zu verteilen, 
wenn seine Verteilquote qi(neu) einen vorgegebenen Wert 
q v tiberschreitet . 

Erf indungsgemSfl kann das oben vorgeschlagene 
Multiprozessorsystem so ausgestaltet werden, da£ jeweils 
eines der oben genannten Verfahren implementiert ist, wobei 
die Implementierung durch eine entsprechende Programmierung 



der Prozessoren erfolgt. 



Es ist noch darauf hinzuweisen f daft der Index (alt) sich 
jeweils auf die Werte des vorhergehenden Iterationsschrittes, 
beziehungsweise der Index (neu) sich auf den jetzt aktuellen 
Iterationsschritt beziehen. 



Der besondere Vorteil des erf indungsgemSften Verfahrens und 
des entsprechenden Multiprozessorsystems liegt darin, dafi es 
im Gegensatz zum eingangs genannten Stand der Technik einen 
"weichen" Einstieg in die Lastverteilung gewahrleistet und 
20 dadurch anpassungsf ahiger , weniger anfallig gegen 

Schief lastsituationen ist und Schwingungszustande besser 
vermieden werden. Im Endeffekt wird hierdurch die 
Wahrscheinlichkeit fur die Abwehr von Aufgaben, insbesondere 
Vermittlungsauf gaben reduziert. 



Weitere Ausgestaltungen, zusatzliche Merkmale und Vorteile 
der Erfindung ergeben sich aus der nachf olgenden Beschreibung 
eines bevorzugten Ausf uhrungsbeispiels unter Bezugnahme auf 
die Zeichnungen. 



Es versteht sich, daft die vorstehend genannten und 
nachstehend noch zu erlauternden .Merkmale der Erfindung nicht 
nur in der jeweils angegebenen Kombination, sondern auch in- 
anderen Kombinationen oder in Alleinstellung verwendbar sind, 
35 ohne den Rahmen der Erfindung zu . verlassen . 



'■^ 
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Die Figuren zeigen im einzelnen: 

Figur 1: Flufibild des anfallenden und verteilten 
Lastangebotes 

Figur 2a: Grafische Darstellung der Entscheidungen zur 

Aktualisierung der Lastverteilungsf aktoren pij 
Figur 2b: Grafische Darstellung der Entscheidungen zur 
_____ Aktualisierung der Verteilungsquoten q_ 



10 Figur 3: Formel zur linearen Interpolation von q_" 



Das erf indungsgemafie Verfahren (Normal Load Balancing=NLB) 
ist ein quotiertes Load Balancing Verfahren, das auf einem 
Multiprozessorsystem, insbesondere in einer 

15 Vermittlungsstelle eines Kommunikationssys terns, zur 

Verteilung anfallender Arbeitslasten auf die jeweils anderen 
Prozessoren ablauft und sicherstellen soil, dali andauernde 
Schief lastsituationen bewaltigt und moglichst alle 
angef orderten Aufgaben in moglichst kurzer Zeit abgearbeitet 

20 werden. Nachfolgend soil eine besonders vorteilhafte 
Ausf uhrungsf orm dieses Verfahrens beschrieben werden. 

Auf jedem Prozessor MPi mit i=l,2,...,n wird eine 
Verteilquote qi gefiihrt, die den Anteil V der verteilbaren 

25 Last, der tatsachlich verteilt werden soil, festsetzt. Eine 
solche Quote ermoglicht einen weicheren Ein- beziehungsweise 
Ausstieg aus der Lastverteilung an andere Prozessoren. Auf 
diese Weise werden Schwingzustande und Last schwankungen 
vermieden. Dies kann beispielsweise der Fall sein, wenn ein 

30 Prozessor so viel Last an einen anderen verteilt, dafi dieser 
wiederum uberlastet wird. 

Die Verteilquote q± wird jedes Zeitintervall CI neu bestimmt. 
Die einzige Information, die jedes CI von den anderen 
35 Prozessoren MP k mit k=l , . . . i-1 , i+1 , . . . n benotigt wird, sind 
Lastwertindikatoren (Balancing Indikatoren) MPbi±. Diese 
Lastwertindikatoren sind - ahnlich wie die Laststatuswerte 
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(Load States) von der Load Control - Lastzustande mit den 
Wertigkeiten NORMAL, HIGH Oder OVERLOAD. Wahrend der Load 
State anhand der tatsachlich bearbeiteten Last Y ± des 
Prozessors MPi bestimmt wird, wird der Lastwertindikatoren 
5 MPbii aus einer Schatzung der aktuell angebotenen Last A ± 
ermittelt. Die geschatzte angebotene Last Ai kann durch 
Lastverteilung erheblich mehr als die tatsachlich bearbeitete 
Last Yi sein und stellt die maftgebliche Grofte dar, die (in 
Form des Lastwertindikators MPbii) ein Prozessor MPi den 
anderen MP* als Information zur Verfugung stelTtTT 

Zusatzlich zur Verteilungsquote qi werden auf jedem MP ± 
Wahrscheinlichkeiten p ±j gefuhrt, welche die 

Wahrscheinlichkeit angeben, daft bei Lastverteilung Last vom 
i-ten Prozessor MPi auf den j-ten Prozessor MPj iibertragen 
wird. Die Wahrscheinlichkeiten werden so bestimmt, daft, wenn 
etwa der j-te Prozessor MPj schon viel Last zu bearbeiten hat 
und deshalb nur wenig zusatzliche Last aufnehmen kann, das 
zugehorige kleiner ist als das P ik fur einen freien MP*. 

In Figur 1 wird das Zusammenspiel der p i5 und qi 
veranschaulicht . Die doppelte Indizierung "ij" der Kenngroften 
besagt, daft jeweils der Prozessor mit der Nummer des ersten 
Index (hier i) jeweils eine "Spalte" von n Werten mit dem 
zweiten Index (hier j) kennt . Es ist zu bemerken, daft jeder 
Prozessor nur seine relevanten Werte (also seine Spalte) 
kennt, wobei insgesamt im System eine quadratische Matrix 
bekannt ist So ist zum Beispiel pij die Wahrscheinlichkeit, 
daft Last vom i-ten MP auf den j-ten MP verteilt wird, wenn 
der i-te MP zu viel Last hat. 
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In der Figur 1 ist aufterdem die tatsachlich bearbeitete Last 
des j-ten Prozessors MPj mit Yj, die geschatzte angebotene 
Last mit Aj und der Teil des Lastangebotes , der verlagert 
35 werden kann, mit a bezeichnet. Die gezeigte Lastsituation ist 
Oberlast (OVERLOAD) auf MPi, auf den MP k mit k=2,3,4 ist noch 
Raum fur zusatzliche Aufgaben. Es wird gezeigt, wie der MPi 
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einen ersten Teil der Last selbst bearbeitet und den Rest a 
verteilt. Von diesem Rest a gent der grofite Anteil an MP 3 , 
der kleinste Anteil an MP 4 , der in diesem Beispiel also schon 
viel eigene Last zu bearbeiten hat. Nicht eingezeichnet sind 
die Lasten, welche die MP k aulier von MPj noch erhalten. Die 
Breite der Fliefcbalken stellen ein Mafc fur die Grofce der Last 
dar . 

GemaJi dem Erf indungsgedanken ergibt sich also der folgende 



10 Algorithmus: Meldet der j-te Prozessor MPj den Balancing 

Indikator NORMAL, wird auf dern jeweils betrachteten MPi das 
Pij vergroJiert. Es steigt also die Wahrscheinlichkeit , daia 
dieser Prozessor MPi Last an MPj abgibt, wenn er Last 
verteilen muJS . Wird der Balancing Indikator HIGH gemeldet, so 
15 wird das p ±j verkleinert. Wird der Balancing Indikator 

OVERLOAD gemeldet, wird p i3 auf Null gesetzt, so daft keine 
Last an den j-ten Prozessor MPj abgegeben wird. Die 
Verteilungsquote q± wird anschlieftend an die Bestimmung der 
pij verandert. Konnten viele der pij vergroftert werden, so ist 
20 die Summe der pij uber j grolier 1 und offenbar noch Platz auf 
den anderen Prozessoren MP k . Die Verteilungsquote qi kann 
also nach den Erf ordernissen des (betrachteten) Prozessors 
verandert werden. 

Bei hoher Last Yi auf dem betrachteten Prozessor MPi wird die 
25 Verteilungsquote q± vergrofiert, bei niedriger Last wird q± 
verkleinert. Sind viele der pij verringert worden, dann ist 
die Summe der pij uber j kleiner 1 und die Verteilungsquote q 
mufi verringert werden. 

30 Eine Veranschaulichung dieser Entscheidungen ist in den 

Figuren 2a und 2b dargestellt. Die Entscheidungsdiagramme 
zeigen die Aktualisierungsalgorithmen fur pij (Figur 2a) und 
fur Verteilungsquote q A (Figur 2b), die jedes Zeitintervall 
.CI fur den i-ten Prozessor MPi durchgefuhrt werden. 

35 

Bei dem erf indungsgemafien Lastverteilungsverf ahren (NLB) 
werden einige Parameter (Konstanten) benotigt, deren Wahl da 

^ ^ - GEANDERTES BLATT 
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Verhalten in bestimraten Lastsituationen stark beeinflussen 
kann. Es ergibt sich in den meisten Fallen ein Konflikt 
zwischen einem Lastverteilungsverf ahren, das schnell auf 
Lastanderungen reagieren kann, und einem stabilen 
Lastverteilungsverf ahren, das nicht zu Schwingungen und zum 
Weiterverteilen von Aufgaben neigt. "Weiterverteilen" 
bedeutet hier das gleichzeitige Verteilen von eigener Last 
und das Bearbeiten von fremder Last auf einem Prozessor. 



Folgende Parameterveranderungen bewirken ein scnneTler 
reagierendes NLB: 

Das starkere Verandern von qi mit : G,i5<c q i, 0, Ko q2 

Das starkere Verandern der pij mit: 0,25<p c x f 0,25<p C 2 
- Das spatere Setzen der Lastindikationswerte MPbii mit: 

threshold H >0, 7 (d.h. erst bei hdherer Last 'HIGH' an die 

anderen Prozesssoren MPk melden) 

Detailliert verlauft das bevorzugte Verfahren bei einem 
Multiprozessor-Kommunikationsrechner also wie folgt: 

Als Dauer des Zeitintervalls (Kontrollintervall) CI des 
Zeitrasters, mit dem das Verfahren iterativ ablauft, wird bei 
den derzeit bekannten Multiprozessorsystemen der 
Vermittlungstechnik bevorzugt 1 bis 2 Sekunden gewShlt. Es 
ist selbstverstandlich, daJi mit steigender Prozessorleistung 
das Zeitintervall gekurzt werden kann. 

Jedes Kontrollintervall CI werden die GrofJen qi, pij, MPlsi 
und MPbij aktualisiert . 

Die tatsachlich bearbeitete Last Yi eines Prozessors MPi wird 
als Prozessorlauf zeitgrofte, gemessen in Erlang, ermittelt. 

Die geschatzte angebotene Last Aj eines Prozessors MPi wird 
aus der Verteilquote q± des aktuellen Kontrollintervalls CI 
und dem geschatzten verteilbaren Anteil einer 
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durchschnittlichen Aufgabe, zura Beispiel der Abarbeitung 
eines Calls, ermittelt. 

Es gilt: 

5 Die Anzahl der Prozessoren MPi im Mult iprozessorsystem ist n, 

Aj. := Yi/(l-qiV), wobei V der verteilbare Anteil eines Calls 
ist. 



25 



30 



10 MPlsi: Load State des i-ten MPs, kann die^Wertfe - NORMAL^ HIGH7 
OVERLOAD Oder EXTREME annehmen. Zur Berechnung des Load 
States wird die tatsachlich bearbeitete Last Yi herangezogen. 
Zur Vermeidung von vorschnellen Anderungen des MPlsi werden 
Hysteresen eingefuhrt. Wird etwa der MPls± von NORMAL auf 

15 HIGH gesetzt, muft Y A > threshold N + A+ sein, wohingegen, ura 
von HIGH nach NORMAL zu kommen, Yi < threshold N - A- sein 
mu£. Diese Vorgehensweise ist auch als High Water-Low Water 
Methode bekannt. Bei EXTREME muJi aus systemtechnischen 
Grunden der Vermittlungsstelle das Verteilungsverf ahren (Load 

20 Balancing) fur diesen Prozessor MPi abgeschaltet werden. 

thresholds Ist die Normallastschwelle - nach 
Berucksichtigung einer Hysterese wird unterhalb dieser der 
MPls als NORMAL gefiihrt, oberhalb als HIGH . 



thresholds Hochlastschwelle - nach Berucksichtigung einer 
Hysterese und einer lastabhangigen zeitlichen VerzSgerung 
(Startindikator) wird unterhalb dieser Schwelle der MPls als 
HIGH gefUhrt, oberhalb als OVERLOAD. 



Der Lastindikationswert (Balancing Indikator) MPbii des i-ten 
Prozessors MP ± kann die Werte NORMAL, HIGH Oder OVERLOAD 
annehmen. Dieser wird wie der MPlsi berechnet, nur wird hier 
anstelle der tatsachlichen Last Yi die geschatzte angebotene 
35 Last Ai zugrundegelegt und andere Werte fur A+ und A. 
genommen, mit A+ = A- = 0.02. 
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Zusatzlich wird ein Overload Level OLi des Prozessors MPi 
bestimmt, der die Werte 0... 6 annehmen kann und als 
Quantif izierung des Oberlastzustandes des Prozessors MPi 
gedacht ist. 1st der OLi>0, werden Calls abgewehrt, je hoher 
5 der Wert, desto wahrscheinlicher wird ein Call abgewiesen. 

Die Last, die von MP± nach MPj verteilt werden soil, wird als 
Wahrscheinlichkeit pij ausgedriickt und kann somit Werte 
zwischen 0 und 1 annehmen. 



Die Grofte des Wertes pij bestimmt sich durch folgende 
Kriterien: 

Initialisiere pij mit pij^fn-l)" 1 

Pii:= 0, MPi soil nicht an sich selbst verteilen. 
Falls MPbi j =NORMAL : p ±j — > p i3 + 0.25/n, j=l,...,n, 
i*j . Das alte pij kann vergrofiert werden, weil auf 
dem Prozessor MPj noch Platz ist. 

Falls MPbij=HIGH : p i3 — > p 13 - 0.25/n. Das alte p ±j 
mufi verkleinert werden, weil MPj voll ausgelastet 
ist. 

Falls MPbij=OVERLOAD: p ±j = 0 . Es soil keine Last an 
uberlastete Prozessoren MP n abgeben werden. 

Die neu bestimmten pij mtissen noch normiert werden: 
Setze p S uiD = summe(pij) uber j=l,..,n 
und normiere (falls p SU m > 0) mit pij — > pij/psum 

AnschlieJiend wird die Verteilungsquote qi mit den folgenden 
Kriterien bestimmt: 
30 - Initialisierungswert : qt = 0 . 1 

Falls der MPlSi = EXTREME : q ± = 0.1. Dieser MP ist so 
stark uberlastet, daB ihn auch der Eigenanteil fur einen 
verteilten Call iiberfordern wiirde. Deshalb kein Load 
Balancing, sondern nur Abwehr; das Load Balancing ist 
35 zudem aus systemtechnischen Griinden der 

Vermittlungsstelle nicht sinnvoll. 



10 



15 



20 




Falls Psum > 1/ kann offenbar raehr Last verteilt werden. 
Dann kann q* nach den Erf ordernissen des MPi bestimmt 
werden, mit: 

1. Falls der OLi > 0, q± auf jeden Fall vergrofiern 
mit: q± — > min {q L + 0.15, 1} 

2. Falls Yi > thresholds qi vergrOfiern mit: qi — > min 
{ qi + 0. 15, 1} 

3. Falls Yi < thresholds qi verkleinern mit: q± --> 
max {qi - 0.10, 0.1} . 



10 4. Andernfalls, falls threshol^7^~Yr^~th^esh"o"l"dH 

gilt: 

q ± — >min {max {q±+ (0.25/ ( threshoid H -threshold N ) ) * (Yi- 
threshold N ) -0.1, 0.1}, 1.0} 

Dies ist die lineare Interpolation zwischen der 
15 obigen VergroJierung urn 0.15 und der obigen 

Verkleinerung urn 0.1. Die Formel ist nochmals in 
besser lesbarer Weise in der Figur 3 dargestellt. 

Falls Psum< 1, wurde offenbar zuviel Last verteilt und q A 
20 muft verkleinert werden mit: qi — > qi * p S um- 

Der Prozessor MPi verteilt Last an andere Prozessoren 
MP*, wenn qi > 0.25 wird. 

25 

Das erf indungsgemalie Verfahren weist somit die folgenden 
Eigenschaf ten und Vorteile auf: 

Ein sehr geringer Inf ormat ions overhead zwischen den am 
30 Lastverteilungsverfahren beteiligten Prozessoren. Gegenseitig 
bekannt sind nur wenige, vorzugsweise dreiwertige 
Last zustande, die nur einmal pro Kontrollintervall 
aktualisiert und verteilt werden. 

35 Fur jeden Prozessor gibt es eine Quote, die jedes 

Kontrollintervall aktualisiert wird und die den Anteil der 
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Last regelt, die vom betrachteten Prozessor an die anderen 
beteiligten Prozessoren verteilt werden soil. 

Fur jeden Prozessor gibt es Einzelregulatoren, welche die zu 
5 verteilende Last auf die anderen Prozessoren aufteilen. 



Das Verfahren ist nicht nur als "Feuerwehrmaftnahme" 
konzipiert, das erst wirksam wird, wenn ein Prozessor in 
Oberlast gerat und gegebe nenfalls Aufgaben (Calls) abgewehrt 
werden, sondern es setzt die Lastverteilung friiher und 
weicher ein. Dadurch konnen Dauerschief lastzustande besser 
und mit weniger abgewiesenen Aufgaben (Calls) verarbeitet 
werden. 



15 Im erf indungsgemaflen Verfahren werden die Lastzustande, die 

an die anderen Prozessoren verteilt werden, konseguent anhand 
der geschatzten angebotenen Last und nicht anhand der 
tatsachlich bearbeiteten Last ermittelt. 



20 Das Verfahren benotigt kein Load Balancing Flag, das den 

Einstieg in die Lastverteilung regelt. Der Einstieg wird liber 
die Verteilquote q± geregelt. Weiterhin sind durch das Fehlen 
eines Load Balancing Flags gegenseitige Abhangigkeiten 
zwischen den Last zustanden und dem Load Balancing Flag 

25 eliminiert worden. Dadurch ist eine nachtragliche Anpassung 
des Algorithmus an veranderte Bedingungen leichter moglich. 

Die lastabhangige Veranderung der Einzelregulatoren 
(Lastverteilungsf aktoren pij ) geschieht in Abhangigkeit von 
30 der Anzahl n der an der Lastverteilung beteiligten 

Prozessoren. Somit ist das Verfahren unabhangig von der 
Anzahl der beteiligten Prozessoren. 

Die lastabhangige Veranderung der Verteilungsquoten und der 
35 Einzelregulatoren pro Kontrollintervall geschieht so, daft ein 
zu langsames "Heranschleichen" an den optimalen Wert 
vermieden wird. 
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Die lastabhangige Veranderung der Einzelregulatoren vermeidet 
ein Verharren der Werte auf die Einstellung der 
vorangegangenen Lastverteiiungsperiode wahrend einer Periode 
5 ohne Lastverteilung. Es wird vielmehr auf eine 
Ausgangsstellung zuruckgeregelt . 



Die aus dem Stand der Technik bekannte Tragheit in der 
Veranderung der Quoten wurde entfernt, urn ein leichteres 
10 Nachfuhren an die tatsachlich vorliegende Lastsituation zu 
ermoglichen . 

Erganzend ist auf die Definition einiger Begriffe in dieser 
Anraeldung hinzuweisen: 
15 Der Begriff oder Wortbestandteil „Quote" beschreibt den 

Bruchteil eines Ganzen mit einem Wertebereich zwischen 0 und 
1. 

Der Begriff Oder Wortbestandteil „Zustand" beschreibt die 
20 augenblickliche Situation oder den augenblicklichen, 

aktuellen Wert einer GroBe. So ist z.B. der Lastzustand eines 
Prozessors als der Wert der aktuellen Last des Prozessors zu 
verstehen . 




25 Der Begriff Hysterese definiert die Abhangigkeit einer 

aktuellen Grc/ie von ihren friiheren Werten, ihrer Historie 
oder ihres zeitlichen Verlaufs. 
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Patentanspriiche 

1 . Verf ahren zur Lastverteilung in einem 

Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystem eines Kommunikat ions systems, bei 
dem anfallende Aufgaben von mehreren Prozessoren MP A 
{mit i=l, 2 n) unter Realzeitbedingungen 
abgearbeitet werden konnen, mit folgenden iterativen und 
sic h~i TT~Z'e"i ti" n : re r va~l~re n~ CI" w ie de r h oie n den — 



10 Verf ahrensschritten : 

jeder Prozessor MPi ermittelt seine tatsachiiche 
aktuelle Last Y± und schatzt in Abhangigkeit von 
zuvor mitgeteilten Verteilungsquoten qi(alt) und 
dem typischerweise verteilbaren Anteil V einer 

15 typischen Aufgabe seine angebotene Last A i7 die zu 

einem mehrwertigen Lastindikationswert (Balancing 
Indicator) MPbii fiihrt, wobei die Verteilungsquote 
q ± den, an andere Prozessoren MP k verteilbaren, 
Lastanteil darstellt, 

20 - jeder Prozessor MPi teilt seinen 

Lastindikationswert MPbii den jeweils anderen 
Prozessoren MPk (mit k=l, 2, . . . i-1, i-f-1, . . . n) 
mittelbar oder unmittelbar mit, 
jeder Prozessor MPi bestimmt seine 

25 Lastverteilungswahrscheinlichkeiten pi-j (mit 

j=l,2,....n) in Abhangigkeit von den 
Lastindikationswerten MPbi k dieser anderen 
Prozessoren MP X , 
- jeder Prozessor MPi bestimmt seine Verteilungsquote 

30 qi (neu) in Abhangigkeit von seiner tat sachlichen 

aktuellen Last Yi und den Lastverteilungsf aktoren 
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3. 

15 
20 

4 . 

* 

25 

6. 

30 

7. 



jeder Prozessor MPi verteilt anhand seiner Quote qi 
und seiner Lastverteilungsf aktoren p i5 seine 
verteilbare Last an andere Prozessoren MP k wenn 
seine Verteilquote qi(neu) einen vorgegebenen Wert 
q v " uberschreitet . 

Verfahren gemaft dem voranstehenden Anspruch 1, dadurch 
gekennzeichnet, daft die geschatzte angebotene Last Ai 

eines P r o'z e'ss'o r s~M P^n a ch~ de r -Fo r mei— Ai-:-= Y- ± /-{-I- qi-V-) 

errechnet wird. 

Verfahren gemaft einem der voranstehenden Anspriiche, 
dadurch ge kenn z ei chne t , daft der mehrwertige 
Lastindikationswert (balancing indicator) MPbii drei 
diskrete Werte, vorzugsweise die Werte NORMAL, HIGH und 
OVERLOAD, wobei NORMAL einer Prozessorauslastung von 0 
bis 70%, HIGH einer Prozessorauslastung von 70% bis 85% 
und OVERLOAD einer Prozessorauslastung von 85% bis 100% 
entspricht, annehmen kann. 

Verfahren gemaft dem voranstehenden Anspruch 3, dadurch 
gekennzeichnet , daft der Lastindikationswert (balancing 
indicator) MPbii bezuglich Anderungen einer Hysterese 
unterliegt . 

Verfahren gemaft einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, daft als typischer 
verteilbarer Anteil V der durchschnittliche Oder 
maximale verteilbare Anteil einer typischen Aufgabe 
CallP gilt. 

Verfahren gemaft dem voranstehenden Anspruch 6, dadurch 
gekennzeichnet, daft der durchschnittliche Oder 
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maximale verteilbare Anteil einer typischen Aufgabe 
standig als gleitender Durchschnitt Oder gleitender 
Maximalwert iiber eine vorgegebene Zeitspanne t D 
ermittelt wird. 

8. Verfahren gemafc dem voranstehenden Anspruch 7, dadurch 
ge kennzeichnet , dali fur die vorgegebene Zeitspanne t D 
gilt: t D » CI. 



9. Verfahren gemafi einem der voranstehenden Anspruche, 
dadurch ge kennz eichne t , daii als typische Aufgabe 
eine durchschnittliche oder maximale Aufgabe angenommen 
wird. 

10. Verfahren gemafS dem voranstehenden Anspruch 6, dadurch 
gekennzeichnet, da& die durchschnittliche oder 
maximale Aufgabe standig als gleitender Durchschnitt 
oder gleitender Maximalwert uber eine vorgegebene 
Zeitspanne t D ermittelt wird. 

11. Verfahren gemaft dem voranstehenden Anspruch 10, dadurch 
gekennzeichnet, daft fur die vorgegebene Zeitspanne t D 
gilt: t D » CI. 

12. Verfahren gemafl einem der voranstehenden Anspruche, 
dadurch gekennzeichnet, daB fur den yorgegebenen Wert 
q v der Verteilquote qi, ab dem der Prozessor MPi 
verteilbare Last an andere Prozessoren MP k verteilt 
gilt: 0,05<q v <0,3, vorzugsweise 0,l<q v <0,25, 
vorzugsweise q v =0,2. 
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13. Verfahren gemaft einem der voranstehenden Anspruche, 
dadurch ge kennzeichnet , daB die Berechnung der 
Verteilquote q± die folgenden Kriterien erfullt: 
Pix := 0 

5 - falls MPbij einer mittleren Last entspricht, 

vorzugsweise MPbij=NORMAL, gilt: 
Pij (neu) = pi j (alt) +p c i/n, fur j=l,...,n und i^j 
falls MPbij einer hohen Last entspricht, 
vorzugsweise MPbij=HIGH gilt: 
10 Pij (neu) = pi j (alt) -p C 2/n, fur j=l,...,n und i^j 

falls MPbij einer Oberlast entspricht, vorzugsweise 
MPbij =OVERLOAD, gilt: 
Pij (neu) = 0 

wobei die Pij (j-i, .., n ) ^ait der Summe p sum der pij auf 1 
15 normiert werden und 

als Initialisierungswert beim Beginn der 
Verteilungsprozesse alle pij, ausgenommen pii, 
gleich sind. 

20 14. Verfahren gemafi dem voranstehenden Anspruch 13, dadurch 
gekennzeichnet, daft fur die Konstante p c i gilt: 
0,l<p cl <0,5, vorzugsweise 0,2<p c i<0,3, vorzugsweise 
p cl =0,25. 

25 15. Verfahren gemaft einem der voranstehenden Anspruche 13- 

14, dadurch gekennzeichnet, daft fur die Konstante p c2 
gilt: 0,l<p C 2<0,5, vorzugsweise 0,2<p C 2<0,3, vorzugsweise 
Pc2-0,25. 

30 16. Verfahren gemaft einem der voranstehenden Anspruche 13- 

15, dadurch gekennzeichnet, daft der 
Initialisierungswert der pij beim Beginn der 
Verteilungsprozesse gleich (n-1)" 1 gesetzt wird. 
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17. Verfahren gemaft einem der voranstehenden Anspriiche 13- 
16, dadurch gekennzeichnet, daft jeder Prozessor MPi 
anhand seiner tatsachlichen aktuellen Last Yi einen 
5 mehrwertigen Laststatus (load state) MPlSi bestimmt und 

die Berechnung der Lastindikationswerte MPbii die 
folgenden Kriterien erfiillt: 

falls MPlSi der hochsten Last entspricht gilt: 
qi (neu) =c q i, 

10 - falls psum ^ 1 gilt: 

falls die tatsachliche aktuelle Last Yi grower 
als ein vorgegebener Wert threshold H ist, wird 
qi vergroJiert mit qi=min { qi+c q i, 1 } , 
falls die tatsachliche aktuelle Last Y± 

15 kleiner als ein vorgegebener Wert thresholds 

ist, wird q± verkleinert mit qi=max{ qj.-c q2 , 
c q3 }, mit 0<c q3 <q v , vorzugsweise c q3 =0,l, 
andernfalls (threshold N < Yi < threshold^ 
erhalt qi einen Zwischenwert zwischen den 

20 beiden oben genannten Alternativen, 

vorzugsweise durch lineare Interpolation 
falls p sum < 1 gilt: q± (neu)=qi (alt) * Psum- 



18. Verfahren gemaft dem voranstehenden Anspruch 17, dadurch 
25 gekennzeichnet , daft der Laststatus (load state) MPlsi 

bezuglich Anderungen einer Hysterese unterliegt. 

19. Verfahren gemaft einem der voranstehenden Anspruche 17 - 
18, dadurch gekennzeichnet, daft der mehrwertige 

30 Laststatus (load state) MPlsi vier diskrete Werte, 

vorzugsweise NORMAL (=0 bis 0,7), HIGH (=0,7 bis 0,85), 
OVERLOAD (-0,85 bis 1) und EXTREME (wenn Laststatus 
iiber mehrere CI OVERLOAD) annehmen kann. 
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20. Verfahren gemaft einem der voranstehenden Anspruche 17 - 

19, dadurch gekennzeichnet, daft fur die Konstante c qi 
gilt: 0, 05<c q i<0 / 3, vorzugsweise 0,1< c ql <0,2, 
vorzugsweise c q i=0,15. 

21. Verfahren gemaft einem der voranstehenden Anspriiche 17- 

20, dadurch gekennzeichnet, daft fur die Konstante c q2 
gilt: 0,05< c q2 <0,2, vorzugsweise c q2 =0,10. 

22. Verfahren gemaft einem der voranstehenden Anspruche 17- 

21, dadurch gekennzeichnet, daft fur die Konstante 
threshold N gilt: 0,6 < threshold N < 0,8, vorzugsweise 
threshold N =0,7. 

23. Verfahren gemaft einem der voranstehenden Anspruche 17- 

22, dadurch gekennzeichnet, daft fur die Konstante 
threshold H gilt: 0,7 < threshold H < 0,95, vorzugsweise 
thresholdH =0,85. 



24. Verfahren gemaft einem der voranstehenden Anspruche, 
dadurch gekennzeichnet, daft zusatzlich zur 
Quantif izierung des Oberlastzustandes der .Prozessoren 
ein Uberlastwert OLi der Prozessoren MPi ermittelt wird, 
25 der ein Maft fur die Grofte der Uberlast ist, mit 

OLi=0, 1, . . .m und die Verteilquote q± auf jeden Fall 
vergroftert wird, falls der Betrag von OL ± groJier 0 wird 
und qi (neu) :=min{qi (alt) +c q i, 1 } gesetzt wird. 

30 25. Multiprozessorsystem, insbesondere eines 

Kommunikat ions systems, mit mehreren Prozessoren MPi (mit 
i=l , 2 n) zur Ausfuhrung anfallender Aufgaben unter 
Realzeitbedingungen, wobei: 
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jeder Prozessor MP± Mittel aufweist, um seine 
tatsachliche aktuelle Last Yi zu bestimmen, und, in 
Abhangigkeit von zuvor mitgeteilten 
Verteilungsquoten qi(alt) und dem typischerweise 
5 verteilbaren Anteil V einer typischen Aufgabe, 

seine angebotene Last A± zu schatzen, die zu einem 
mehrwertigen Lastindikationswert (Balancing 
Indicator) MPbii fuhrt, wobei die Verteilungsquote 
qi den, an andere Prozessoren MP k verteilbaren, 
10 Lastanteil darstellt, 

j ec i er prozessor MPi Mittel aufweist, um seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP k (mit k=l , 2, . . . i-1, i + . . . n) 
mittelbar oder unmittelbar mitzuteilen, 
15 - jeder Prozessor MPi Mittel aufweist, um seine 

Lastverteilungswahrscheinlichkeiten pij (mit 
j=l,2,....n) in Abhangigkeit von den 
Lastindikationswerten MPbi k dieser anderen 
Prozessoren MPk zu bestimmen, 
20 - jeder Prozessor MPi Mittel aufweist, um seine 

Verteilquote qi(neu) in Abhangigkeit von seiner 
tatsachlichen aktuellen Last Y± zu bestimmen, und 
jeder Prozessor MPi Mittel aufweist, um anhand 
seiner Quote qi und seiner Lastverteilungsf aktoren 
25 pij seine verteilbare Last an andere Prozessoren MP k 

. zu verteilen, wenn seine Verteilquote qi(neu) einen 
vorgegebenen Wert q v uberschreitet . 

26. Multiprozessorsystem gemaB Anspruch 25, dadurch 
30 ge ke nn z e ichne t , daft eines der Verfahren gemafi einem 

der Anspruche 1-24 implementiert ist. 
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Ubersetzungen und Entrichtung nationaler Gebuhren) vorzunehmen (Artikel 39 (1)) (siehe auch die durch das 
Internationale Buro im Formblatt PCT/IB/301 ubermittelte Information). 

1st einem ausgewahlten Amt eine Ubersetzung der internationalen Anmeldung zu ubermitteln, so mu3 diese 
Ubersetzung auch Ubersetzungen aller Anlagen zum internationalen vorlaufigen Prufungsbericht enthalten. Es 
ist Aufgabe des Anmelders, solche Ubersetzungen anzufertigen und den betroffenen ausgewahlten Amtern 
direkt zuzuleiten. 



Weitere Einzelheiten zu den maGgebenden Fristen und Erfordernissen der ausgewahlten Amter sind Band II 
des PCT-Leitfadens fur Anmelder zu entnehmen. 



Name und Postanschrift der mit der internationalen Prufung 
beauftragten Behorde 



Europaisches Patentamt 
D-80298 Munchen 

Tel. +49 89 2399 - 0 Tx: 523656 epmu d 
Fax: +49 89 2399 - 4465 



Bevollmachtigter Bediensteter 
Schall, H 

Tel. +49 89 2399-2647 



Formblatt PCT/f PEA/41 6 (Juli 1992) 



HS21032. 25.04.2001 



VERTRAG UBER A INTERNATIONALE ZUSA ^ENARBEIT AUF DEM 

^EBIET DES PATENTWESETTs 

PCT 



INTERNATIONALER VORLAUFIGER PRUFUNGSBERICHT 

(Artikel 36 und Regel 70 PCT) 



Aktenzeichen des Anmelders oder Anwalts 
1999P01082WO 


siehe Mrtteilung Qber die Ubersendung des intemationalen 
WEITERES VORGEHEN vorlaufigen PrOfungsberichts (Formblatt PCT/I PEA/41 6) 


Internationales Aktenzeichen 
PCT/EP00/00317 


Internationales Anme\dedalum(Tag/Monat/Jahr) 
17/01/2000 


Prioritatsdatum (Tag/Monat/Tag) 
21/01/1999 


Internationale Pate ntkl ass ifikation (IPK) Oder nationale Klassifikation und IPK 
G06F9/46 


Anmelder 






SIEMENS AKTIENGESELLSCHAFT 







1. Dieser internationale vorlaufige Prufungsbericht wurde von der mit der intemationalen vorlaufigen Prufung beauftragten 
Beh6rde erstellt und wird dem Anmelder gemaB Artikel 36 ubermittelt. 



2. Dieser BERICHT umfaftt insgesamt 6 Blatter einschlieGlich dieses Deckblatts. 

E AuBerdem liegen dem Bericht ANLAGEN bei; dabei handelt es sich um Blatter mit Beschreibungen, Anspruchen 
und/oder Zeichnungen, die geandert wurden und diesem Bericht zugrunde liegen, und/oder Blatter mit vor dieser 
Behorde vorgenommenen Berichtigungen (siehe Regel 70.16 und Abschnitt 607 der Verwaltungsrichtlinien zum PCT). 

Diese Anlagen umfassen insgesamt 25 Blatter. 



3. Dieser Bericht e nth alt Angaben zu folgenden Punkten: 



II 


□ 


III 


□ 


IV 


□ 


V 




VI 


□ 


VII 




Vill 





Grundlage des Berichts 
Prioritat 

Keine Erstellung eines Gutachtens Qber Neuheit, erfinderische Tatigkeit und gewerbliche Anwendbarkeit 
Mangelnde Einheitlichkeit der Erfindung 

Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

Bestimmte angefuhrte Unterlagen 

Bestimmte Mangel der intemationalen Anmeldung 

Bestimmte Bemerkungen zur intemationalen Anmeldung 



Datum der Einreichung des Antrags 



21/08/2000 



Datum der Fertigstellung dieses Berichts 



30.04.2001 



Name und Postanschrift der mit der intemationalen vorlaufigen 
Prufung beauftragten BehSrde: 

^~ Europaisches Patentamt 

D-80298 Munchen 
y Tel. +49 89 2399 - 0 Tx: 523656 epmu d 
Fax: +49 89 2399 - 4465 



Bevollmachtigter Bediensteter 
Schneider, M 

Tel. Nr. +49 89 2399 7509 



Formblatt PCT/iPEA/409 (Deckblatt) (Januar 1994) 



HS21032. 25.04.2001 



INTERNATIONALER VOR 
PRUFUNGSBERICHT 



lift 



FIGER 



Internationales Aktenzeichen PCT/E POO/0031 7 



I. Grundlage des Berichts 

1 . Hinsichtlich der Bestandteile der internationalen Anmeldung (Ersatzblatter, die dem Anmetdeamt auf erne 
Aufforderung nach Artike! 14 hin vorgelegt warden, gelten im Rahmen dieses Benefits als "ursprungl'tch 
eingereicht" und sind ihm nicht beigefugt, we'd sie keine Anderungen enthalten (Regetn 70. 16 und 70. 1 7)): 
Beschreibung, Seften: 

1_18 eingegangen am 28/02/2001 mit Schreiben vom 26/02/2001 

Patentanspruche, Nr.: 

1_26 eingegangen am 28/02/2001 mit Schreiben vom 26/02/2001 

Zetchnungen, Blatter: 

1/3-3/3 ursprungliche Fassung 



2. Hinsichtlich der Sprache: Alle vorstehend genannten Bestandteile standen der Behorde in der Sprache, in der 
die Internationale Anmeldung eingereicht worden ist, zur Verfugung oderwurden in dieser eingereicht, sofern 
unter diesem Punkt nichts anderes angegeben ist. 

Die Bestandteile standen der Behdrde in der Sprache: zur Verfugung bzw. wurden in dieser Sprache 
eingereicht; dabei handelt es sich um 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen Recherche eingereicht worden ist (nach 
Regel 23.1(b)). 

□ die Veroffentlichungssprache der internationalen Anmeldung (nach Regel 48.3(b)). 

□ die Sprache der Obersetzung, die fur die Zwecke der internationalen vorlaufigen Pruf ung eingereicht worden 
ist (nach Regel 55.2 und/oder 55.3). 

3. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleoid- und/oder Aminosauresequenz ist die 
intemationale vortaufige Prufung auf der Grundlage des Sequenzprotokolis durchgefuhrt worden, das: 

□ in der internationalen Anmeldung in schriftlicher Form enthalten ist. 

□ zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

□ Die Erklarung, daB das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht uber den 
Offenbarungsgehaft der internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

□ Die Erklarung, daB die in computerlesbarer Form erfassten Informationen dem schriftlichen 
Sequenzprotokoll entsprechen, wurde vorgelegt. 

4. Aufgrund der Anderungen sind folgende Unterlagen fortgefallen: 



Formbiatt PCT/IPEA/409 (Felder \-V\M, Biatt 1) (Juli 1998) 



□ Beschreibung, Serten: 

□ Anspruche, Nr.: 

□ Zeichnungen, Blatt: 



eingereichten Fassung hinausgehen (Regel 70.2(c)). 

(Auf E^mer, die sobhe Anderungen enthalten, « ^ PunH 1 hinzuweisenpie sM diesen, BaricM 



beizufugen). 
siehe Befblatt 

6. EtwaigezusatzlicheBemerkungen: 



1. Feststeltung 
Neuheit (N) 

Eriinderische Tatigkert (ET) 
Gewerbtiche Anwendbarkeit (GA) 



2. Unterlagen und ErkJarungen 
siehe Beiblatt 



Ja: 


Anspruche 


1-26 


Nein: 


Anspruche 




Ja: 


Anspruche 


1-26 


Nein: 


Anspruche 




Ja: 


Anspruche 


1-26 


Nein: 


Anspruche 





VII Bestlmmte Mangel der internationalen Anmeldung 

Es wurde festgestel.,, daB die international Anmeidung nach Form Oder InhaK foigende Mangel au1we,s.: 
siehe Beiblatt 

VIII Bestlmmte Bemerkungen zur internationalen Anmeldung 

ZurKiarneit der PatentansprOche, der Beschreibung und ^Jg^^J^.^ ° b * ^ 
in vollem Umfang durch die Beschreibung gestOtzt werden, .st folgendes zu bemerken. 

siehe Beiblatt 



Fomiblatt PCT/IPEA/409 (Fekter l-VIII, Halt 2) (Jull 1998) 



INTERNATIONALER VOTLAUFIGER 
PROFUNGSBERICHT - BEIBLATT 



Internationales AWeRzeichen PCT/EP00/0031 7 



Z" Punkt I 

Grundlage des Berichts 

Die nachfolgend aufgefuhrten Anderungen bringen Sachverhalte ein, die im 
Widerspruch zu Artikel 34 (2) b) PCT uber den Offenbaaingsgehalt der 
internationalen Anmeldung im Anmetdezeitpunkt hinausgehen: 

Das Merkmal des ursprunglich eingereichten Anspruchs 19 und Beschreibung S. 
6, Z. 19, dass, falls MPISj der hfichsten Last entspricht, gilt: q,(neu)=q cll wurde 
in dem entsprechenden geanderten Anspnjch 17 und Beschreibung S. 6, 2. 18 
ersetzt durch q ; (neu)=c q1 . 

Fur diese Ersetzung gibt es in der ursprunglichen Anmeldung keine Grundlage. 
Aus S. 7, Zeile 25 und S. 15, Zeilen 19 und 30-31 der ursprunglichen 
Beschreibung in Verbindung mit dem ursprunglichen Anspruch 19 wird klar, dass 
q cl und c ql unterschiedliche Konstante mit verschiedenen vorgeschlagenen 
Werten sind. 

Deshalb wird der Bericht erstellt, als seien die Anderungen nicht gemacht 
worden. 

Zu Punkt V 

Begrundete Feststeltung nach Art. 35(2) hinsichtlich der Neuheit, der 
erfinderlschen Tdtigkeft und der gewerblichen Anwendbarkeit; Unterlagen 
und Erklarungen zur Stutzung dieser Feststellung 

Wegen der unter Punkt VIII angefuhrten Unklarheit werden die folgenden 
Aussagen getroffen unter dem Vorbehalt einer Interpretation der Anspruche 
gemaB den entsprechenden Bemerkungen unter Punkt VIII. 

Es wird auf das foigende Dokument verwiesen: 



Form Watt PCT/BeiWatt/409 {Blatt 1) (EPA-Apri3 1997) 



INTERNATIONALER V^^AUFIGER Internationales A^^eichen PCT/EP00/0031 7 
PRUFUNGSBERICHT - BEiBLATT . 



D1: EP 0645702 

D1 wurde in der Anmeldung angegeben. Eine Kopie des Dokuments liegt bei. 

1 . Der Gegenstand des Anspruchs 1 ist neu und erfinderisch im Sinne von 
Artikel 33(2) und 33(3) PCT. 

D1 offenbart (vgl. insb. S. 6, Zeile 29-S. 9, Zeile 5, Zeichnungen 3 und 4) unter 
Andersbezeichnung der aktuellen Last als "a" und der angebotenen Last als n 
tatsachlich am Prozessor aniiegende Last a' " alle wesentlichen Merkmale des 
Anspruchs 1, mit den foigenden Ausnahmen: 

Die in Anspruch 1 genannte Verwendung eines verteilbaren Anteils V zur 
Abschatzung der angebotenen Last wird in D1 zur Abschatzung der 
entsprechenden anliegenden Last nicht expiizit erwahnt. Dieses Merkmal ware 
aberwegen D1, S. 3, Zeilen 26-32, S. 7,Zeilen 55-58 nahe liegend und scheint 
in der Formel auf D1, S. 7, Zeile 14 durch den Faktor "d" angedeutet zu sein. 

GemaB D1 verteiit jeder Prozessor seine verteilbare Last an andere 
Prozessoren, wenn eine eigenstandige Lastbatanzierungsflagge LBF gesetzt ist 
(siehe D1, S. 9,Zeilen 2-5), wahrend gemSB Anspruch 1 die Verteilung 
geschieht, wenn die Verteilquote qi einen vorgegebenen Wert q v uberschreitet. 
Diese Veranderung des Stands der Technik wird durch die im 
Recherchenbericht angegebenen Dokumente oder D1 selbst weder aufgezeigt 
noch nahegelegt. 

Das Verfahren in Anspruch 1 erlaubt bei entsprechend gewShltem Wert q v fur 
jeden Prozessor bereits bei niedriger Belastung einen sanften Einstieg in die 
Lastverteiiung. Beim Verfahren von D1 wird fur jeden Prozessor bei 
uberschreiten einer gewissen Uberlastung schlagartig von keiner Verteilung auf 
moglichst hohe Verteilung umgestellt, was zu Lastschwingungen fuhren kann. 



Formblatt PCT/Boiblatt/409 (Blatt 2) (EPA-April 1997) 



INTERNATIONALER VORESUFIGER 
pn Q F iiMftSRl=RICHT - BEIBLATT 



Internationales AkteWchen PCT/EP00/00317 



2 Der Gegenstand der von Anspruch 1 abhangigen Anspruche und des 
na.n^Anspruchs 25 in Kombinatfon mit den M— *J ~s 
26 ist neu und erfinderisch im Sinne von Artikel 33(2) und 33(3) PCT, da 
Anspruche alle wesentlichen Merkmale des Anspruchs 1 bemhalten. 

7.. Pnnlrt VII 

no ^immta Mq -fl-' H " tntermtlnnalftn AniWMflMPq 

Die Beschreibung auf S. 3 steht nicht, wie in Regel 5.1 a) Hi) PCT 
vorgeschrieben, in Einklang mit den Anspruchen. 

p^inkt VIII 

Bestlmmte Bemerkungen zur internationalen Anmeldung 

Die Nummerierung der Anspruche Oberspringt die Ziffer 5. 

Der unabhSngige Anspruch 25 enthalt nicht, wie von Artikel 6 PCT ir ' Verbindung 
m u Regel M b) PCT »r unabhangige Anspruche gefordert, alle fur d,e Drtlmbon 

der Erfindung wesentlichen Merkmale: 

FQr das System von Anspruch 25 ist zusatzlich zu den dort h bereitS H . au ^ h /l en 
Merkma.en auch das Merkma. aus Anspruchs 26 wesentl^h, un. de Aufgabe 
der Erfindung zu erfullen, da aus der Beschreibung keine dazu alternate 
Moglichkeit ersichtlich ist. 



FormblaB PCT/Belblatt/409 (Btall 3) (EPA-Apffl 1997) 
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Beschreibung 

Lastverteilungsverf ahren eine 
Multiprozessorsystem 



Die Erfindung betrifft ein V€ 
einem Multiprozessorsystem, 
Multiprozessorsystem eines Kc 
anfallende Aufgaben von mehre 
i=l, 2, . . . . , n) unter Realzei 
konnen und ein Multiprozess 
Kommunikationssystems, mit ei 



or s 



Ein ahnliches Verfahren zur Lastverteilung in einem 
Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystem eines Kommunikationssystems, ist 



s Multiprozessorsystems und 



rfahren zur Lastverteilung in 

sbesondere in einem 
mmunikat ions systems, bei dem 
ren Prozessoren MPj. (mit 

n abgearbeitet werden 
ystem, insbesondere eines 
nem Lastverteilungsmechanismus . 



itt edingungei 



beispielsweise aus der Europa 
702 Al der Anmelderin bekannt 
Verfahren zum Lastenausgleich 
insbesondere ein Multiprozess 
Kommunikationssystems, bei de 
mehreren Prozessoren unter Re 



ischen Patentanmeldung EP 0 645 
Diese Schrift offenbart ein 
in einem Multiprozessorsystem, 
orsystem eines 
ti anfallende Aufgaben von 
alzeitbedingungen abgearbeitet 



werden konnen, wobei zur Durctif Ohrung des Lastausgleiches 



allgemein die folgenden Verfa 

- jeder Prozessor ermittelt s 
quantif izierten Gr66e, 

- jedem Prozessor werden die 
Prozessoren innerhalb eines Z 



- jeder Prozessor gibt in Abhangigkeit vom Uberschreiten 



einer bestimmten Grofie seines 
Abhangigkeit von den Lastzust 
zumindest einen Teil der bei 
ubrigen Prozessoren ab, und 



irensschritte genannt sind: 
sinen Lastzustand in Form einer 

astzustande der anderen 
sitrasters mitgeteilt, 



Lastzustandes und in 
inden der ubrigen Prozessoren 
Lhm anfallenden Aufgaben an die 
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35 



- die abgegebenen Aufgaben 
Lastzustanden der ubrigen Pre 



werden 



entsprechend den 
zessoren auf diese aufgeteilt 



c as 



Im Ausf uhrungsbeispiel wird 
konkretisiert , daJi im Betriefc 
die Lastverteilung, die hier 
bestimmten Oberlast beginnt, 
werden, nach denen die ein 
Oberlast an andere Prozess 
1st das System dauerhaft ungl 
die Last erst bei Oberlast ei 
verteilt. Damit geht aber 
Reduktion der Oberlastschwell 
fiihrt zu keinem bef riedigende|n 
viel Last verteilt wird und 
kann. Diese Situation ergibt 
Annahme, daft die Oberlast 
von kurzer Dauer ist. 



Verfahren dahingehend 
standig und vor dem Einstieg in 
erst ab dem Erreichen einer 
Verteilungsquoten errechnet 
Prozessoren im Fall der 
ihre verteilbare Last abgeben. 
eichmafcig ausgelastet, so wird 
nes oder mehrerer Prozessoren 

Lastabwehr einher. Die 
e auf einen niedrigeren Wert 
Ergebnis, well dann unnotig 
zu Schwingungszustanden kommen 
sich aus der dort getroffenen 
die ungleichmaBige Belastung 



zel nen 



soren 



unnotige 



es 



oder 



Des weiteren wird auf Evans D 
Balancing using Tasktransfer 
Computing, Bd. 19, Nr. 8, 1. 
hingewiesen, in der auch eine 
Berucksichtigung von Lastvert 
dargestellt wird, wobei jedoc 
gemessene Werte Beriicksichti 
Entwicklung der betrachteten 
Beachtung. 

Es ist daher Aufgabe der Erfi 
Lastverteilungsverf ahren fur 
anzugeben, welches rechtzeiti 
dadurch dauerhafte Schieflast 
Lastabwehr bewaltigt. Aufcerdeih 
Multiprozessorsystem angegeb 



. J. et al, „ Dynamic Load 
Probabilities^ in Parallel 
August 1993, Seiten 897-916, 

Lastverteilungsstrategie unter 
2i lungs wahrscheinlichkei ten 
i ausschlieftlich aktuell 
gbng finden. Die zeitliche 
Parameter findet keine 



ldung, ein verbessertes 
sin Multiprozessorsystem 
j und "weich" einsetzt und 
justande im Lastangebot ohne 
soli auch ein entsprechendes 
werden . 



e:i 
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Die Aufgabe wird einerseits curch ein Verfahren mit den 
Verf ahrensschritten des ersten Verf ahrensanspruches und 
andererseits durch ein Multiprozessorsystem mit den Merkmalen 
des ersten Vorrichtungsansprvches gelost. 

5 

Demgemafi schlagen die Erf ind€ r ein Verfahren zur 
Lastverteilung in einem Multi prozessorsystem, insbesondere in 
einem Multiprozessorsystem eines KommuniJcat ions systems, bei 
dem anfallende Aufgaben von mehreren Prozessoren MPi (mit 
10 i=l, 2, . . . . , n) unter Realzeitfcedingungen abgearbeitet werden 
konnen, mit folgenden iterativen und sich in Zeitintervallen 
CI wiederholenden Verf ahrensschritten vor: 

jeder Prozessor MP ± ermijitelt seinen tatsachlichen 

Lastzustand Yi und schat 



Lastanteil) und dem typi 
einer typischen Aufgabe 



zt in Abhangigkeit von zuvor 
mitgeteilten Verteilungsquoten q±(alt) (mit qi=an andere 
Prozessoren MP* nach Moglichkeit zu verteilender 

scherweise verteilbaren Anteil V 
seine angebotene Last Ax, die zu 



einem mehrwertigen Lastifidikationswert (Balancing 
Indicator) MPbii fiihrt, 

jeder Prozessor MP A teilt seinen Lastindikationswert 
MPbii den jeweils anderen Prozessoren MP k (mit 
k=l, 2, . . . i-1, i+1, . . . n) mittelbar oder unmittelbar mit, 
jeder Prozessor MP± bestimmt seine 
Lastverteilungsf aktoren bij (mit j=l,2,....n) in 
Abhangigkeit von den Lasjtindikationswerten MPbi k dieser 
anderen Prozessoren MP k , 

jeder Prozessor MPi bestimmt seine Verteilungsquote 
qi(neu) in Abhangigkeit von seinem tatsachlichen 
Lastzustand Y A und den Li. stverteilungsf aktoren pij 
jeder Prozessor MPi verteilt anhand seiner Quote qi und 
seiner Lastverteilungsf a ctoren pij seine verteilbare 
Last an andere Prozessoren MP k , wenn seine 
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Verteilungsquote qi(neu) 
uberschreitet . 



4 

einen vorgegebenen Wert q v 



Zur Abschatzung der angeboter 



en Last Ai eines Prozessors MPi 



ist es vorteilhaft, die Forme 1 A* : =Yi/ ( 1-qiV) zu verwenden. h± 



und Yi konnen in der Einheit 
die Variablen qi und V entspr 
dimensionslose Bruchteilangafc 



Srlang angegeben werden, wahrend 
echend ihrer Bedeutung 
en sind. 



Untert 



Vorteilhaft ist auch eine 
Lastindikationswertes (balanc 
diskrete Werte, wobei vorzugsjwe 
iuit Schwellenwerten gilt: NOFIMAL 
Prozessorauslastung 0 bis 70% 
die Prozessorauslastung 70% 
MPbii, wenn die Prozessorausl 



eilung des mehrwertigen 
ing indicator) MPbii in drei 
ise die folgende Abgrenzung 
fiir MPbii, wenn die 
betragt, HIGH fiir MPbii, wenn 
is 85% betragt, und OVERLOAD fiir 
■ astung uber 85% betragt. 



bi 



Vorteilhaft ist es auch, wenn 
Last zustandswechsel aufgrund 
oder Schwellenwertunterschrei 
fallender Prozessorauslastung 

Aufierdem kann es vorteilhaft 
Lastindikationswert (balancin 
Anderungen einer zeitlichen 
eine gewisse Tragheit erfahrt 
vorteilhaft Werte von 1 bis 2 
werden . 



Weitere vorteilhafte Annahinen 
erf indungsgemaBen Verfahrens 



eine Hysterese bei 
von Schwellenwertiiberschreitung 
tung bei steigender oder 
eingefuhrt wird. 

sein, wenn der 

g indicator) MPbii bezuglich 

sterese unterliegt und damit 
. Als Hysteresegrenze konnen 
Zeitintervallen CI angenommen 



Hy 



bei der Durchfuhrung des 
sind: der typische verteilbare 



Anteil V einer typischen Auf g abe soil der durchschnitt liche 



oder maximale Anteil sein und 
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durchschn: 



einer Aufgabe soli eine 
Bearbeitungszeit einer Aufgabe 
Vorteilhaft kann hierbei der 
Maximalwert eines Anteils bes 
wahrend der Betriebszeit star 
als gleitender Wert mitgefuhijt 
Lastverteilungsverf ahren ube 
hierbei, wenn die Zeitdauer, 
ermittelt werden, grofi gegentjb 
ist . 



ittliche oder maximale 
angenommen werden. 
jeweilige Durchschnittswert oder 
iehungsweise einer Aufgabe auch 
dig ermittelt und gegebenenf alls 
und aktualisiert in das 
rjnommen werden. Gtinstig ist es 
iiber die die gleitenden Werte 
er dem Kontrollintervall CI 



Besonders vorteilhaft ist es 
Wert q v der Verteilungsquote 
verteilbare Last an andere Pr|o 
0 , 05<q v <0, 3, vorzugsweise 0, 



1-Cq. 



:f indungsgemaiS 



auch, wenn fur den vorgegebenen 
3i, ab dem der Prozessor MPi 
zessoren MP k verteilt, gilt: 
v <0,25, vorzugsweise q v =0 r 2. 



Weiterhin kann das er 
vorteilhaft ausgestaltet werd 
Verteilungsquote q± die folgejid 
Pii := 0 

falls MPbij einer mittl 
MPbij=NORMAL, gilt: 
j=l, . . . f n und i*j 
falls MPbij einer hohen 
MPbij— HIGH gilt: p ±j (neu) 
und i?*j 

falls MPbij einer Oberla 
MPbij OVERLOAD, gilt: p ±j 
wobei die pij ( j=i,.., n ) mit 
normiert wird und 
als Initialisierungswert 
Verteilungsprozesse alle 
sind. 
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alie Verfahren besonders 
en, wenn bei der Berechnung der 
en Kriterien erfullt werden: 

ete Last entspricht, vorzugsweise 
Pij(neu) = pi j (alt) +p c i/n, fur 

tast entspricht, vorzugsweise 
= pij (alt)-p c2 /n, fur j=l,...,n 

t entspricht, vorzugsweise 
(neu) = 0 

der Summe p sum der p ±j auf 1 

beim Beginn der 
Pij, ausgenommen p i± , gleich 
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Als vorteilhafte Zahlenwerte 
0,l<p c i<0,5, vorzugsweise 0,2 
angenommen werden. Ebenso ist 
Konstante p C 2 0,l<p C 2<0,5, 
vorzugsweise p c2 =0,25 zu set 
Initialisierungswert der pi-j 
Verteilungsprozesse gleich (r 



Weiterhin kann das erf indungsgemaBe Verfahren besonders 
vorteilhaft ausgestaltet were en, wenn jeder Prozessor MP± 



anhand seiner tatsachlichen a 
mehrwertigen Laststatus (load 



konnen fur die Konstante p ci 
: Pci < 0,3 und vorzugsweise p c i=0,25 
es vorteilhaft fur die 
vorjzugsweise 0,2<p C 2<0,3, 
z&n. Auch kann der 
lpeim Beginn der 
-l)" 1 gesetzt werden. 



ktuellen Last Yi einen 
state) MPlsi bestimmt und bei 



der Berechnung der Lastindikajtionswerte MPbii die folgenden 
Kriterien erfullt werden: 



Last entspricht, vorzugsweise 
eu)=c q i, 

astzustand Yi grower als ein 
3ld H ist, wird qi vergroftert mit 



vorgegebene Wert thresho 
qi=max{qi-c q2/ c q3 }, mit 0 



einen Zwischenwert zwisc 
Alternativen, vorzugswei 
falls psum < 1 gilt: qi (n 



Bezuglich des mehrwertigen La 
als besonders bevorzugt die 
vorgeschlagen, wobei vorzugsw 
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falls MPlsi der hochsten 
MPlSi=EXTREME, gilt : q ± (r|< 
falls p sum > 1 gilt: 
falls der tatsachliche Lfe 
vorgegebener Wert thresh 
qi=min{qi+c q i, 1}, 

falls der tatsachliche Lkstzustand Yi kleiner als ein 

>Ld N ist, wird qi verkleinert mit 
) cc q3 <q v , vorzugsweise c q3 =0,l, 



andernfalls (threshold N <; Y ± < threshold H ) erhalt qi 



len den beiden oben genannten 
se durch lineare Interpolation 
4u) =qi (alt) * p sum . 



ststatus (load state) MPlsi wird 
Annahme von vier diskreten Werten 
eise angenommen wird: NORMAL fur 
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MPlsi, wenn die Prozessorausl 
MPlSi, wenn die Prozessorausl 
MPlsi, wenn die Prozessorausl 
EXTREME fur MPls^, wenn daue 
vorherrscht. Auch hier kann € 
Laststatus (load state) MPlSi 
Hysterese unterliegt. Als Hy 
Werte von 1 bis 2 Zeitinterva 



stung unter 70% liegt, HIGH fur 
astung 70% bis 85%, OVERLOAD fur 
astung uber 8 5% liegt und 
rjhaft der Lastzustand OVERLOAD 
s vorteilhaft sein, wenn der 
beziiglich Anderungen einer 
steresegrenze konnen vorteilhaft 
lien CI angenommen werden . 



Zur optimalen Ausgestaltung ces Verfahrens sind far die 
Konstante c q i die folgenden Zahlenbereiche und -werte 
bevorzugt: 0, 05<c q i<0, 3, vorzugsweise 0,1< c q i<0,2, 
vorzugsweise c q i=0,15. Aufterdom kann fur die Konstante c q2 
vorzugsweise 0, 05< c q2 <0,2, vorzugsweise c q2 -0,10 angenommen 
werden . 



threshold; 



Beziiglich der Konstanten 
Wertebereich: 0 , 6< threshold N 
=0,7. 

Beziiglich der Konstanten thre 
Wertebereich: 0,7< threshold H 
=0,85. 

Eine andere Ausgestaltung des 
sieht vor, dafi zusatzlich in 
Oberlastwert OLi der Prozesso 
Mali ftir die GrdJie der Oberlas 
Oberlastabwehr dient, mit OLi 
Quantif izierung fiir die Uberl 
und die Verteilungsquote a 
falls OLi>0 mit q A (neu) : =min{ 



, N gilt als bevorzugter 
<0,8, vorzugsweise threshold N 



shold H gilt als bevorzugter 
<0,95, vorzugsweise threshold H 



erf indungsgemalien Verfahrens 
jedem Zeitintervall CI ein 
en MPi ermittelt wird, der ein 
t ist und als MaJJstab zur 
0,1,... m, wobei OL ± eine 
ast des Prozessors darstellt, 
Kif jeden Fall vergrofiert wird, 
i (alt) +c q i, 1} . 
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Erf indungsgemaU besteht auch die Moglichkeit, eine Adaption 
des Lastverteilungsverf ahrens an sich andernde 
Randbedingungen durchzuf uhren, indem die oben angegebenen 
Konstanten (q v , p c i^ Pc2/ qci/ <3c2/ thresholds thresholds c q i, 
5 Cq2, c q 3) im Betrieb zumindest teilweise angepafit werden. 

Erf indungsgemaJl wird auBerdem ein Multiprozessorsystem, 
insbesondere eines Kommunikat ions systems, mit mehreren 
Prozessoren MPi (mit i=l , 2 n) zur Ausfiihrung anfallender 
10 Aufgaben unter Realzeitbedingungen, vorgeschlagen, wobei: 
- jeder Prozessor MP ± Mattel aufweist, um seinen 

tatsachlichen Lastzustand Y± zu bestimmen, und in 
Abhangigkeit von zuvor mitgeteilten Verteilungsquoten 
qi(alt) (mit qi=an andere Prozessoren MP k nach 
15 Moglichkeit zu verteilender Lastanteil) und dem 

typischerweise verteilbaren Anteil V einer typischen 
Aufgabe seine angebotene Last A A zu schatzen, die zu 
einem mehrwertigen Lastindikationswert (Balancing 
Indicator) MPbii fiihrt, 
20 - jeder Prozessor MPi Mittel aufweist, um seinen 
Lastindikationswert MPbii den jeweils anderen 
^ Prozessoren MP* (mit k=l, 2, . . . i-1, i+1, . . . n) mittelbar 

oder unmittelbar mit zuteilen, 

jeder Prozessor MPi Mittel aufweist, um seine 
25 Lastverteilungswahrscheinlichkeiten p i5 (mit 

j=l,2,....n) in Abhangigkeit von den 

Lastindikationswerten MPbi k dieser anderen Prozessoren 
MP k zu bestimmen, 

jeder Prozessor MPi Mittel aufweist, um seine 
30 Verteilquote qi(neu) in Abhangigkeit von seinem 

tatsachlichen Lastzustand Yi zu bestimmen, und 
jeder Prozessor MP ± Mittel aufweist, um anhand seiner 
Quote qi und seiner Lastverteilungsf aktoren p i3 seine 
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verteilbare Last an andere Prozessoren MP^ zu verteilen, 
wenn seine Verteilquote qi(neu) einen vorgegebenen Wert 
g v iiberschreitet . 

Erf indungsgemaft kann das oben vorgeschlagene 
Multiprozessorsystem so ausgestaltet werden, dafi jeweils 
eines der oben genannten Verfahren implement iert ist, wobei 
die Implementierung durch eine entsprechende Programmierung 
der Prozessoren erfolgt. 

Es ist noch darauf hinzuweisen, dali der Index (alt) sich 
jeweils auf die Werte des vorhergehenden Iterationsschrittes, 
beziehungsweise der Index (neu) sich auf den jetzt aktuellen 
Iterationsschritt beziehen. 



Der besondere Vorteil des erf indungsgema/Jen Verfahrens und 
des entsprechenden Multiprozessorsystems liegt darin, dali es 
im Gegensatz zum eingangs genannten Stand der Technik einen 
"weichen" Einstieg in die Lastverteilung gewahrleistet und 
20 dadurch anpassungsf ahiger , weniger anfallig gegen 

Schieflastsituationen ist und Schwingungszustande besser 
vermieden werden. Im Endeffekt wird hierdurch die 
Wahrscheinlichkeit fur die Abwehr von Aufgaben, insbesondere 
Vermittlungsauf gaben reduziert. 



Weitere Ausgestaltungen, zusatzliche Merkmale und Vorteile 
der Erfindung ergeben sich aus der nachf olgenden Beschreibung 
eines bevorzugten Ausf tihrungsbeispiels unter Bezugnahme auf 
die Zeichnungen. 



Es versteht sich, daB die vorstehend genannten und 
nachstehend noch zu erlauternden Merkmale der Erfindung nicht 
nur in der jeweils angegebenen ^Combination, sondern auch in 
anderen Kombinationen Oder in Alleinstellung verwendbar sind, 
35 ohne den Rahmen der Erfindung zu verlassen. 
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Die Figuren zeigen im einzelnen: 

Figur 1: Flufibild des anfallenden und verteilten 
5 Lastangebotes 

Figur 2a: Grafische Darsteliung der Entscheidungen zur 

Aktualisierung der Lastverteilungsf aktoren pij 
Figur 2b: Grafische Darsteliung der Entscheidungen zur 
Aktualisierung der Verteilungsquoten q± 
10 Figur 3: Formel zur linearen Interpolation von q ± 

Das erf indungsgemafte Verfahren (Normal Load Balancing=NLB) 
ist ein quotiertes Load Balancing Verfahren, das auf einem 
Multiprozessorsystem, insbesondere in einer 

15 Vermittlungsstelle eines Kommunikationssystems , zur 

Verteilung anfallender Arbeitslasten auf die jeweils anderen 
Prozessoren ablauft und sicherstellen soil, daft andauernde 
Schief lastsituationen bewaltigt und moglichst alle 
angef orderten Aufgaben in moglichst kurzer Zeit abgearbeitet 

20 werden. Nachfolgend soil eine besonders vorteilhafte 
Ausf uhrungsf orm dieses Verfahrens beschrieben werden. 



Auf jedem Prozessor MPi rnit 1=1,2, „..,n wird eine 
Verteilquote qi gefuhrt, die den Anteil V der verteilbaren 

25 Last, der tatsachlich verteilt werden soli, festsetzt. Eine 
solche Quote ercnoglicht einen weicheren Ein- beziehungsweise 
Ausstieg aus der Lastverteilung an andere Prozessoren. Auf 
diese Weise werden Schwingzustande und Last schwankungen 
vermieden. Dies kann beispielsweise der Fall sein, wenn ein 

30 Prozessor so viel Last an einen anderen verteilt, daft dieser 
wiederum iiberlastet wird. 



Die Verteilquote q ± wird jedes Zeitintervall CI neu bestimmt. 
Die einzige Information, die jedes CI von den anderen 
35 Prozessoren MP k mit k=l , . . . i-1 , i + 1 , . . . n benotigt wird, sind 
Lastwertindikatoren (Balancing Indikatoren) MPbii. Diese 
Lastwertindikatoren sind - ahnlich wie die Laststatuswerte 
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(Load States) von der Load Control - Lastzustande mit den 
Wertigkeiten NORMAL, HIGH Oder OVERLOAD. Wahrend der Load 
State anhand der tatsachlich bearbeiteten Last Yi des 
Prozessors MP± bestimmt wird, wird der Lastwertindikatoren 
MPbii aus einer Schatzung der aktuell angebotenen Last A L 
ermittelt. Die geschatzte angebotene Last Ai kann durch 
Lastverteilung erheblich mehr als die tatsachlich bearbeitete 
Last Yi sein und stellt die maflgebliche Grofie dar, die (in 
Form des Lastwertindikators MPbii) ein Prozessor MPi den 
anderen MP k als Information zur Verfiigung stellt. 

Zusatzlich zur Verteilungsquote qi werden auf jedem MPi 
Wahrscheinlichkeiten Pij gefuhrt, welche die 

Wahrscheinlichkeit angeben, da/5 bei Lastverteilung Last vom 
i-ten Prozessor MPi auf den j-ten Prozessor MPj iibertragen 
wird. Die Wahrscheinlichkeiten werden so bestimmt , daft, wenn 
etwa der j-te Prozessor MPj schon viel Last zu bearbeiten hat 
und deshalb nur wenig zusatzliche Last aufnehmen kann, das 
zugehorige pij kleiner ist als das P ik fur einen freien MP*. 

In Figur 1 wird das Zusammenspiel der Pij und qi 
veranschaulicht . Die doppelte Indizierung "ij" der Kenngrdlien 
besagt, daft jeweils der Prozessor mit der Nummer des ersten 
Index (hier i) jeweils eine "Spalte" von n Werten mit dem 
zweiten Index (hier j) kennt . Es ist zu bemerken, daft jeder 
Prozessor nur seine relevanten Werte (also seine Spalte) 
kennt, wobei insgesamt im System eine quadratische Matrix 
bekannt ist So ist zum Beispiel p^ die Wahrscheinlichkeit, 
daft Last vom i-ten MP auf den j-ten MP verteilt wird, wenn 
der i-te MP zu viel Last hat. 

In der Figur 1 ist aufterdem die tatsachlich bearbeitete Last 
des j-ten Prozessors MPj mit Yj, die geschatzte angebotene 
Last mit Aj und der Teil des Lastangebotes, der verlagert 
werden kann, mit a bezeichnet. Die gezeigte Lastsituation ist 
Uberlast (OVERLOAD) auf M?i, auf den MP k mit k=2,3,4 ist noch 
Raum far zusatzliche Aufgaben. Es wird gezeigt, wie der MPi 
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einen ersten Teil der Last selbst bearbeitet und den Rest a 
verteilt. Von diesem Rest a geht der groftte Anteil an MP 3 , 
der kleinste Anteil an MP 4 , der in diesem Beispiel also schon 
viel eigene Last zu bearbeiten hat. Nicht eingezeichnet sind 
5 die Lasten, welche die MP* auBer von MPi noch erhalten. Die 
Breite der Flieftbalken stellen ein Maft fur die Gr6fte der Last 
dar . 
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Gemali dem Erf indungsgedanken ergibt sich also der folgende 
10 Algorithmus: Meldet der j-te Prozessor MPj den Balancing 

Indikator NORMAL, wird auf dent jeweils betrachteten MPi das 
Pij vergrofcert. Es steigt also die Wahrscheinlichkeit, daB 
dieser Prozessor MPi Last an MPj abgibt, wenn er Last 
verteilen muB . Wird der Balancing Indikator HIGH gemeldet, so 
15 wird das pij verkleinert. Wird der Balancing Indikator 

OVERLOAD gemeldet, wird pij auf Null gesetzt, so daB keine 
Last an den j-ten Prozessor MPj abgegeben wird. Die 
Verteilungsquote q± wird anschlieBend an die Bestimmung der 
pij verandert. Konnten viele der pij vergroBert werden, so ist 
20 die Summe der pij uber j groiier 1 und offenbar noch Platz auf 
den anderen Prozessoren MP k . Die Verteilungsquote qi kann 
also nach den Erf ordernissen des (betrachteten) Prozessors 
verandert werden . 

Bei hoher Last Yi auf dem betrachteten Prozessor MPi wird die 
25 Verteilungsquote q ± vergroBert, bei niedriger Last wird qi 
verkleinert. Sind viele der pij verringert worden, dann ist 
die Summe der p A j uber j kleiner 1 und die Verteilungsquote qi 
muB verringert werden. 

30 Eine Veranschaulichung dieser Entscheidungen ist in den 

Figuren 2a und 2b dargestellt. Die Entscheidungsdiagramme 
zeigen die Aktualisierungsalgorithmen fur p ± j (Figur 2a) und 
fur Verteilungsquote q± (Figur 2b), die jedes Zeitinterva 11 
CI fur den i-ten Prozessor MPi durchgefuhrt werden. 



35 



Bei dem erf indungsgemaBen Lastverteilungsverf ahren (NLB) 
werden einige Parameter (Konstanten) benotigt, deren Wahl das 
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Verhalten in bestimmten Lastsituat ionen stark beeinflussen 
kann. Es ergibt sich in den meisten Fallen ein Konflikt 
zwischen einera Lastverteilungsverf ahren, das schnell auf 
Lastanderungen reagieren kann, und einem stabilen 
5 Lastverteilungsverf ahren, das nicht zu Schwingungen und zum 
Weiterverteilen von Aufgaben neigt. "Weiterverteilen" 
bedeutet hier das gleichzeitige Verteilen von eigener Last 
und das Bearbeiten von fremder Last auf einem Prozessor. 

10 Folgende Parameterveranderungen bewirken ein schneller 
reagierendes NLB: 

Das starkere Verandern von qi mit : 0,15<c q i, 0, l<c q2 
Das starkere Verandern der pij mit: 0,25<p c i, 0,25<p c2 
Das spatere Setzen der Lastindikationswerte MPbii mit: 

15 threshold H >0, 7 (d.h. erst bei hoherer Last 'HIGH* an die 

anderen Prozesssoren MPk raelden) 

Detailliert verlauft das bevorzugte Verfahren bei einem 
Multiprozessor-Kommunikationsrechner also wie folgt: 

20 

Als Dauer des Zeitintervalls (Kontrollintervall) CI des 
Zeitrasters, mit dem das Verfahren iterativ abiauft, wird bei 
den derzeit bekannten Multiprozessorsystemen der 
Vermittlungstechnik bevorzugt 1 bis 2 Sekunden gewahlt. Es 
25 ist selbstverstandlich, daft mit steigender Prozessorleistung 
das Zeitintervall gekurzt werden kann. 

Jedes Kontrollintervall CI werden die GroJSen q if p^, MPlsi 
und MPbij aktualisiert . 

30 

Die tatsachlich bearbeitete Last Yi eines Prozessors MP L wird 
als Prozessorlauf zeitgrolie, gemessen in Erlang, ermittelt. 

Die geschatzte angebotene Last Aj eines Prozessors MPi wird 
35 aus der Verteilquote qi des aktuellen Kontrollintervalls CI 
und dem geschatzten verteilbaren Anteil einer 
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durchschnittlichen Aufgabe, zura Beispiel der Abarbeitung 
eines Calls, ermittelt. 

Es gilt: 

5 Die Anzahl der Prozessoren MPi im Multiprozessorsystem ist n. 

Ai := Yi/(l-qiV), wobei V der verteilbare Anteil eines Calls 
ist . 

10 MPlsi: Load State des i-ten MPs, kann die Werte NORMAL, HIGH, 
OVERLOAD Oder EXTREME annehmen. Zur Berechnung des Load 
States wird die tatsachlich bearbeitete Last Yi herangezogen . 
Zur Vermeidung von vorschnellen Anderungen des MPlsi werden 
Hysteresen eingefuhrt. Wird etwa der MPlsi von NORMAL auf 

15 HIGH gesetzt, muft Y± > threshold*? + A+ sein, wohingegen, um 
von HIGH nach NORMAL zu kommen, < threshold N - A- sein 
muB . Diese Vorgehensweise ist auch als High Water-Low Water 
Methode bekannt. Bei EXTREME muft aus systemtechnischen 
Griinden der Vermittlungsstelle das Verteilungsverf ahren (Load 

20 Balancing) fur diesen Prozessor MPj. abgeschaltet werden. 

thresholds Ist die Normallastschwelle - nach 
Berucksichtigung einer Hysterese wird unterhalb dieser der 
MPls als NORMAL gefuhrt, oberhalb als HIGH. 



thresholds Hochlastschwelle - nach Berucksichtigung einer 
Hysterese und einer lastabhangigen zeitlichen Verzogerung 
(Startindikator) wird unterhalb dieser Schwelle der MPls als 
HIGH gefuhrt, oberhalb als OVERLOAD. 



Der Lastindikationswert (Balancing Indikator) MPbii des i-ten 
Prozessors HP± kann die Werte NORMAL, HIGH oder OVERLOAD 
annehmen. Dieser wird wie der MPlsi berechnet, nur wird hier 
anstelle der tatsachlichen Last Y± die geschatzte angebotene 
35 Last Ai zugrundegelegt und andere Werte fur A+ und A- 
genommen, mit A+ = A. — 0.02. 
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Zusatzlich wird ein Overload Level OLi des Prozessors MP ± 
bestimmt, der die Werte 0... 6 annehmen kann und als 
Quantif izierung des Oberlastzustandes des Prozessors MPi 
gedacht ist. 1st der OLi>0, werden Calls abgewehrt, je hoher 
5 der Wert, desto wahrscheinlicher wird ein Call abgewiesen. 
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Die Last, die von MP ± nach MPj verteilt werden soil, wird als 
Wahrscheinlichkeit pij ausgedruckt und kann somit Werte 
zwischen 0 und 1 annehmen. 



Die Grofte des Wertes pij bestimmt sich durch folgende 
Kriterien: 

Initialisiere pij mit piji-in-l)" 1 

Pii:= 0, MPi soil nicht an sich selbst verteilen. 
15 - Falls MPbi j =NORMAL : p ±j --> Pij + 0.25/n, j=l,...,n, 

. Das alte pij kann vergrofiert werden, weil auf 
dem Prozessor MPj noch Platz ist. 

Falls MPbij=HIGH: p ±j — > p ±j - 0.25/n. Das alte Pij 
muB verkleinert werden, weil MPj voll ausgelastet 
20 ist. 

Falls MPbij=OVERLOAD: p ±j = 0 . Es soil keine Last an 
iiberlastete Prozessoren MP n abgeben werden. 

Die neu bestimmten pij miissen noch normiert werden: 
25 Setze p suni = summe(pij) iiber j=l,..,n 

und normiere (falls p SU m > 0) mit p i3 — > Pij/p S um 

Anschlieflend wird die Verteilungsquote qi mit den folgenden 
Kriterien bestimmt: 
30 - . Initialisierungswert : qi = 0.1 

Falls der MPlSi =EXTREME: q ± = 0.1. Dieser MP ist so 
stark uberlastet, dali ihn auch der Eigenanteil fur einen 
verteilten Call uberfordern wiirde. Deshalb kein Load 
Balancing, sondern nur Abwehr; das Load Balancing ist 
35 zudem aus systemtechnischen Grunden der 

Vermittlungsstelle nicht sinnvoll. 
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Falls psum > 1/ kann offenbar mehr Last verteilt werden. 
Dann kann qi nach den Erf ordernissen des MPi bestimmt 
werden, mit: 

1. Falls der OLi > 0, q± auf jeden Fall vergroBern 
5 mit: q± — > min {q± + 0.15, 1} 

2. Falls Yi > threshold^ q± vergrofiern mit; q ± — > min 
{ qi + 0. 15, 1} 

3. Falls Yi < thresholds qi verkleinern mit: q± --> 
max {q ± - 0.10, 0.1} . 

10 4. Andernfalls, falls threshold N < Yi < threshold H 

gilt: 

qi — >min{max{qi+ (0 . 25/ (threshold H -threshold N ) ) * (Yi- 
threshold N )-0.1, 0.1), 1.0} 

Dies ist die. lineare Interpolation zwischen der 
15 obigen Vergrbfierung um 0.15 und der obigen 

Verkleinerung um 0.1. Die Formel ist nochmals in 
besser lesbarer Weise in der Figur 3 dargestellt. 



Falls psum< 1/ wurde offenbar zuviel Last verteilt und q ± 
20 muii verkleinert werden mit: qi — > q± * p SU m. 

Der Prozessor MPi verteilt Last an andere Prozessoren 
MPk, wenn qi > 0.25 wird. 




25 

Das erf indungsgernaile Verfahren weist somit die folgenden 
Eigenschaf ten und Vorteile auf: 



Ein sehr geringer Inf ormationsoverhead zwischen den am 
30 Lastverteilungsverf ahren beteiligten Prozessoren. Gegenseitig 
bekannt sind nur wenige, vorzugsweise dreiwertige 
Lastzustande, die nur einmal pro Kontrollintervall 
aktualisiert und verteilt werden. 



35 Fur jeden Prozessor gibt es eine Quote, die jedes 

Kontrollintervall aktualisiert wird und die den Anteil der 



: Prjnted:22-03-20p1 



GEANDERTES BUOT 



16 



17 

Last regelt, die vom betrachteten Prozessor an die anderen 
beteiligten Prozessoren verteilt werden soil. 

Fur jeden Prozessor gibt es Einzelregulatoren, welche die zu 
5 verteilende Last auf die anderen Prozessoren aufteilen. 

Das Verfahren ist nicht nur als "FeuerwehrmaBnahme" 
konzipiert, das erst wirksam wird, wenn ein Prozessor in 
Oberlast gerat und gegebenenf alls Aufgaben (Calls) abgewehrt 
10 werden, sondern es setzt die Lastverteilung friiher und 

weicher ein. Dadurch konnen Dauerschief last zustande besser 
und mit weniger abgewiesenen Aufgaben (Calls) verarbeitet 
werden . 

15 Irn erf indungsgemaJien Verfahren werden die Last zustande, die 

an die anderen Prozessoren verteilt werden, konsequent anhand 
der geschatzten angebotenen Last und nicht anhand der 
tatsachlich bearbeiteten Last ermittelt. 

20 Das Verfahren benotigt kein Load Balancing Flag, das den 

Einstieg in die Lastverteilung regelt. Der Einstieg wird iiber 
die Verteilquote q± geregelt . Weiterhin sind durch das Fehlen 
eines Load Balancing Flags gegenseitige Abhangigkeiten 
zwischen den Last zustanden und dem Load Balancing Flag 

25 eliminiert worden. Dadurch ist eine nachtragliche Anpassung 
des Algorithmus an veranderte Bedingungen leichter moglich. 

Die lastabhangige Veranderung der Einzelregulatoren 
(Lastverteilungsfaktoren p A j) geschieht in Abhangigkeit von 
30 der Anzahl n der an der Lastverteilung beteiligten 

Prozessoren. Somit ist das Verfahren unabhangig von der 
Anzahl der beteiligten Prozessoren. 

Die lastabhangige Veranderung der Verteilungsquoten und der 
35 Einzelregulatoren pro Kontrollintervall geschieht so, dafl ein 
zu langsames "Heranschleichen" an den optimalen Wert 
vermieden wird. 
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Die lastabhangige Veranderung der Einzelregulatoren vermeidet 
ein Verharren der Werte auf die Einstellung der 
vorangegangenen Lastverteilungsperiode wahrend einer Periode 
5 ohne Lastverteilung. Es wird vielmehr auf eine 
Ausgangsstellung zuruckgeregelt . 

Die aus dem Stand der Technik bekannte Tragheit in der 
Veranderung der Quoten wurde entfernt, um ein leichteres 
10 Nachfuhren an die tatsachlich vorliegende Lastsituation zu 
ermoglichen. 

Erganzend ist auf die Definition einiger Begriffe in dieser 
Anmeldung hinzuweisen: 
15 Der Begriff Oder Wortbestandteil „Quote" beschreibt den 

Bruchteil eines Ganzen mit einem Wertebereich zwischen 0 und 
1. 

Der Begriff oder Wortbestandteil „Zustand v> beschreibt die 
20 augenblickliche Situation oder den augenblicklichen, 

aktuellen Wert einer Grofie. So ist z.B. der Lastzustand eines 
Prozessors als der Wert der aktuellen Last des Prozessors zu 
verstehen . 

25 " Der Begriff Hysterese definiert die Abhangigkeit einer 

aktuellen GroBe von ihren friiheren Werten, ihrer Historie 
oder ihres zeitlichen Verlaufs. 
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Patentanspruche 

1. Verfahren zur Lastverteilung in einem 

Multiprozessorsystem, insbesondere in einem 
5 Multiprozessorsystem eines Kommunikationssystems, bei 

dem anfallende Aufgaben von mehreren Prozessoren MPi 
(mit i=l, 2, . . . . , n) unter Realzeitbedingungen 
abgearbeitet werden konnen, mit folgenden iterativen und 
sich in Zeitintervallen CI wiederholenden 
10 Verf ahrensschritten : 

jeder Prozessor MPi ermittelt seine tatsachliche 
aktuelle Last Y A und schatzt in Abhangigkeit von 
zuvor mitgeteilten Verteilungsquoten qi(alt) und 
dem typischerweise verteilbaren Anteil V einer 
15 typischen Aufgabe seine angebotene Last A ±/ die zu 

einem mehrwertigen Lastindikationswert (Balancing 
Indicator) MPbii ftihrt, wobei die Verteilungsquote 
qi den, an andere Prozessoren MP k verteilbaren, 
Lastanteil darstellt, 
20 - jeder Prozessor MPi teilt seinen 

Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP* (mit k=l, 2 , . . . i-1 , i + 1 , . . . n ) 
mittelbar oder unmittelbar mit, 
jeder Prozessor MPi bestimmt seine 
25 Lastverteilungswahrscheinlichkeiten (mit 

j=l,2,....n) in Abhangigkeit von den 
Lastindikationswerten MPbik dieser anderen 
Prozessoren MP*, 

jeder Prozessor MPi bestimmt seine Verteilungsquote 
30 qi(neu) in Abhangigkeit von seiner tatsachlichen 

aktuellen Last Yi und den Lastverteilungsf aktoren 
Pij 
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jeder Prozessor MPi verteilt anhand seiner Quote qi 
und seiner Lastverteilungsf aktoren pij seine 
verteilbare Last an andere Prozessoren MP k wenn 
seine Verteilquote q±(neu) einen vorgegebenen Wert 
5 q v - iiberschreitet . 

2. Verfahren gemaJi dem voranstehenden Anspruch 1, dadurch 
ge kenn z eichnet , daft die geschatzte angebotene Last Ai 
eines Prozessors MPi nach der Formel Ai : =Yi/ ( 1-qiV) 

10 errechnet wird. 

3. Verfahren gemaft einern der voranstehenden Anspriiche, 
dadurch ge kenn zeichne t , daft der mehrwertige 
Lastindikationswert {balancing indicator) MPbii drei 

15 diskrete Werte, vorzugsweise die Werte NORMAL, HIGH und 

OVERLOAD, wobei NORMAL einer Prozessorauslastung von 0 
bis 70%, HIGH einer Prozessorauslastung von 70% bis 85% 
und OVERLOAD einer Prozessorauslastung von 85% bis 100% 
entspricht, annehmen kann . 



Verfahren gemaft dem voranstehenden Anspruch 3, dadurch 
gekennzeichne t , daft der Lastindikationswert (balancing 
indicator) MPbi A bezuglich Anderungen einer Hysterese 
unterliegt . 



6. Verfahren gemaft einem der voranstehenden Anspriiche, 
dadurch ge kenn zeichnet , daft als typischer 
verteilbarer Anteil V der durchschnittliche Oder 
maximale verteilbare Anteil einer typischen Aufgabe 

30 CallP gilt. 

7. Verfahren gemaB dem voranstehenden Anspruch 6, dadurch 
ge kennzei chne t , daft der durchschnittliche Oder 
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maximale verteilbare Anteil einer typischen Aufgabe 
standig als gleitender Durchschnitt oder gleitender 
Maximalwert Ober eine vorgegebene Zeitspanne t D 
ermittelt wird. 

5 

8. Verfahren gemafc dem voranstehenden Anspruch 7, dadurch 
gekennzeichnet, dali fur die vorgegebene Zeitspanne t D 
gilt: t D » CI. 



^'.^'^'-JR 99 P 1082 



10 9. Verfahren gemaft einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, daft als typische Aufgabe 
eine durchschnittliche oder maximale Aufgabe angenommen 
wird. 



15 10. Verfahren gemaft dem voranstehenden Anspruch 6, dadurch 
gekennzeichnet, daft die durchschnittliche oder 
maximale Aufgabe standig als gleitender Durchschnitt 
oder gleitender Maximalwert uber eine vorgegebene 
Zeitspanne t D ermittelt wird. 

20 

11. Verfahren gemaft dem voranstehenden Anspruch 10, dadurch 
gekennzeichnet, daii fur die vorgegebene Zeitspanne t D 
gilt: t D » CI. 



25 12. Verfahren gema£ einem der voranstehenden Anspriiche, 

dadurch gekennzeichnet, da/i fur den vorgegebenen Wert 
q v der Verteilquote qi, ab dem der Prozessor MPi 
verteilbare Last an andere Prozessoren MP k verteilt 
gilt: 0,05<q v <0,3, vorzugsweise 0 / l<q v <0 / 25 / 

30 vorzugsweise q v =0,2. 
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13. Verfahren gemaft einem der voranstehenden Anspruche, 
dadurch ge kenn ze ichnet , dafl die Berechnung der 
Verteilquote qi die folgenden Kriterien erfiillt: 
Pii := 0 

5 - falls MPbij einer mittleren Last entspricht, 

vorzugsweise MPbij=NORMAL, gilt: 

Pij (neu) = pij (alt) +p ci /n, fur j=l,...,n und i*j 

- falls MPbij einer hohen Last entspricht, 
vorzugsweise MPbij=HIGH gilt: 

^ 10 Pij (neu) = pij (alt) -p c2 /n, fur j=l,...,n und i*j 

falls MPbij einer Oberlast entspricht, vorzugsweise 
MPbij =OVERLOAD, gilt : 
Pij (neu) = 0 

wobei die p i3 (j-i,. t , n > mit der Summe p sum der p ±j auf 1 
15 normiert werden und 

- als Initialisierungswert beim Beginn der 
Verteilungsprozesse alle p ± j, ausgenommen p iif 
gleich sind. 

20 14. Verfahren gemaB dem voranstehenden Anspruch 13, dadurch 
gekennzeichnet, daJi fiir die Konstante p cL gilt: 
0,l<p c i<0,5, vorzugsweise 0,2<p cl <0,3, vorzugsweise 
Pci=0,25. 

25 15. Verfahren gemaft einem der voranstehenden Anspruche 13- 

14, dadurch gekennzeichnet, daft fur die Konstante p c2 
gilt: 0,l<p c2 <0,5, vorzugsweise 0,2<p c2 <0,3, vorzugsweise 
p c2 =0,25. 

30 16. Verfahren gemaft einem der voranstehenden Anspruche 13- 

15, dadurch gekennzeichnet, daB der 
Initialisierungswert der p^j beim Beginn der 
Verteilungsprozesse gleich (n-1)" 1 gesetzt wird. 
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17. Verfahren gemaft einem der voranstehenden Anspruche 13- 
16, dadurch gekennzeichnet, daft jeder Prozessor MPi 
anhand seiner tatsachlichen aktuellen Last Yi einen 
5 mehrwertigen Laststatus (load state) MPlsi bestimmt und 

die Berechnung der Lastindikationswerte MPbii die 
folgenden Kriterien erfullt: 

falls MPlsi der hochsten Last entspricht gilt: 
q ± (neu) =c qlr 
10 - falls psum > 1 gilt: 

falls die tatsachliche aktuelle Last Yi grbfier 
als ein vorgegebener Wert threshold H ist f wird 
q ± vergroftert mit qi=min{qi+c q i, 1 } , 
falls die tatsachliche aktuelle Last Y A 
15 kleiner als ein vorgegebener Wert threshold N 

ist, wird q± verkleinert mit qi=max { qi-c q 2 , 
c q3 }, mit 0<c q3 <q v , vorzugsweise c q3 =0, 1, 
andernfalls (threshold N < Yi < threshold K ) 
erhalt qi einen Zwischenwert zwischen den 
20 beiden oben genannten Alternatives 

vorzugsweise durch lineare Interpolation 
falls psum ^ 1 gilt: qi(neu)=qi(alt) * p sura . 



18. Verfahren gemaft dem voranstehenden Anspruch 17, dadurch 
25 gekennzeichnet, daft der Laststatus (load state) MPlsi 

bezuglich Anderungen einer Hysterese unterliegt. 

19. Verfahren gemaft einem der voranstehenden Anspruche 17 - 
18, dadurch gekennzeichnet, daft der mehrwertige 

30 Laststatus (load state) MPlsi vier diskrete Werte, 

vorzugsweise NORMAL (=0 bis 0,7), HIGH (=0,7 bis 0,85), 
OVERLOAD (=0,85 bis 1) und EXTREME (wenn Laststatus 
uber mehrere CI OVERLOAD) annehmen kann. 
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20. Verfahren gemaft einem der voranstehenden Anspruche 17 - 

19, dadurch gekennzeichnet, daft fur die Konstante c qi 
gilt: 0, 05<c q i<0 / 3, vorzugsweise 0,1< c ql <0,2, 
vorzugsweise c q i=0,15. 

21. Verfahren gemaft einem der voranstehenden Anspruche 17- 

20, dadurch gekennzeichnet, da/1 fur die Konstante c q2 
gilt: 0,05< c q2 <0,2, vorzugsweise c q2 =0,10. 

22. Verfahren gemaft einem der voranstehenden Anspruche 17- 

21, dadurch gekennzeichnet, daft ftir die Konstante 
threshold N gilt: 0,6 < threshold*) < 0,8, vorzugsweise 
threshold H =0,7. 

23. Verfahren gemaft einem der voranstehenden Anspruche 17- 

22, dadurch gekennzeichnet, daft fur die Konstante 
thresholds gilt: 0, 7 < threshold H < 0,95, vorzugsweise 
threshold H =0,85. 



24. Verfahren gemaft. einem der voranstehenden Anspruche, 
dadurch gekennzeichnet, daft zusatzlich zur 
Quantif izierung des Oberlastzustandes der .Prozessoren 
ein Oberlastwert OLi der Prozessoren MPi ermittelt wird, 
25 der ein Maft fur die Grofte der Oberlast ist, mit 

OLi=0, 1, . . .m und die Verteilquote q± auf jeden Fall 
vergroftert wird, falls der Betrag von OLi grofter 0 wird 
und q± (neu) :=min{qi (alt) +c qi/ 1 } gesetzt wird. 

30 25. Multiprozessorsystem, insbesondere eines 

Kommunikat ions systems, mit mehreren Prozessoren MP± (mit 
i=l , 2 n) zur Ausfuhrung anfallender Aufgaben unter 
Realzeitbedingungen, wobei : 
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- jeder Prozessor MP± Mittel aufweist, um seine 

tatsachliche aktuelle Last Yi zu bestimmen, und, in 
Abhangigkeit von zuvor mitgeteilten 
Verteilungsquoten qi(alt) und dem typischerweise 
5 verteilbaren Anteil V einer typischen Aufgabe, 

seine angebotene Last A± zu schatzen, die zu einem 
mehrwertigen Lastindikationswert (Balancing 
Indicator) MPbi± ftihrt, wobei die Verteilungsquote 
qi den f an andere Prozessoren MP k verteilbaren, 

10 Lastanteil darstellt, 

jeder Prozessor MPi Mittel aufweist, um seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP* (mit k=l 7 2, . . . i-1, i+1, . . . n) 
mittelbar oder unmittelbar mit zuteilen, 

15 - jeder Prozessor MPi Mittel aufweist, um seine 

Lastverteilungswahrscheinlichkeiten p±j (mit 
j=l , 2, . . . . n) in Abhangigkeit von den 
Lastindikationswerten MPbik dieser anderen 
Prozessoren MP k zu bestimmen, 

20 - jeder Prozessor MPi Mittel aufweist, um seine 

Verteilquote qi(neu) in Abhangigkeit von seiner 
tatsachlichen aktuellen Last Yi zu bestimmen, und 
jeder Prozessor MPi Mittel aufweist, um anhand 
seiner Quote qi und seiner Lastverteilungsf aktoren 

25 Pij seine verteilbare Last an andere Prozessoren MP* 

zu verteilen, wenn seine Verteilquote q ± (neu) einen 
vorgegebenen Wert q v iiberschreitet . 

26. Multiprozessorsystem gemafl Anspruch 25, dadurch 
30 gekennzeichnet , daft eines der Verfahren gemafc einem 

der Anspruche 1-24 implementiert ist. 
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1 • LX] Dem Anmelder wird mitgeteilt, daB der Internationale Recherche nbericht erstellt wurde und ihm hiermit ubermittelt wird. 
Elnreichung von Anderungen und oiner Erklarung nach Artikel 19: 

Der Anmelder kann auf eigenen Wunsch die Anspruche der international en Anmetdung andern (siehe Regel 46): 

Bis wann sind Anderungen einzureichen? 

Die Frist zur Einreichung solcher Anderungen betragt ublicherweise zwei Monate ab der Ubermittlung des 
international en Recherchenberichts; weitere Einzelheiten sind den Anmerkungen auf dem Beiblatt zu entnehmen. 

Wo sind Anderungen einzureichen? 

Unmittelbar beim Internationalen Buro der WIPO, 34, CHEMIN des Colombettes, CH-121 1 Gent 20 
Telefaxnr.: (41-22) 740.14.35 

Nahere Hlnweise sind den Anmerkungen auf dem Beiblatt zu entnehmen. 

2. Q Dem Anmelder wird mitgeteilt, daB kein international er Recherchenbericht erstellt wird und daB ihm hiermit die Erklarunq nach 
Artikel 17(2)a) ubermittelt wird. 



3. 



I I Hinsichtllch des Wlderspruchs gegen die Entrichtung einer zusatzlichen Gebuhr (zusatziicher Gebuhren) nach Reael 40 2 wird 
' — ' dem Anmelder mitgeteilt, daB 

| | de , r Widerspruch und die Entscheidung hieruber zusammen mit seinem Antrag auf ObermittJung des Wortlauts sowohl des 
— Widerspruchs als auch der Entscheidung hieruber an die Bestimmungsamter dem Internationalen Buro ubermittelt worden 
sind. 

I I noch keine Entscheidung uber den Widerspruch vorliegt; der Anmelder wird benachrichtigt, sobald eine Entscheiduna 
1 — 1 getroffen wurde. 

4. Weiteres Vorgehen: Der Anmelder wird auf folgendes aufmerksam gemacht: 

Kurz nach Ablauf von 18 Monaten seit dem Prior itatsdatum wird die internationale Anmeldung vom Internationalen Buro veroffent;- 
hcht. WJ^der Anmelder die Veroffentlichung verhindern Oder auf einen spateren Zeitpunkt verschieben. so muB gemaB Regel 90 .1 
bzw. 9CrT3 vor AbschluB der technischen Vorbereitungen fur die internationale Verdffentlichung eine Erklarung uber die Zurucknah- 
me der internationalen Anmeldung oder des Prioritatsanspruchs beim Internationalen Buro eingehen. 

Innerhalb von 19 Monaten seit dem Prioritatsdatum ist ein Antrag auf internationale voriaufige Prufuna einzureichen wenn der 
Anmelder den Eintritt in die rationale Phase bis zu 30 Monaten seit dem Prioritatsdatum (in manchen Amtem sooar noch lanaer) 
verschieben mochte. y ' 

Innerhalb von 20 Monaten seit dem Prioritatsdatum muB der Anmelder die fur den Eintritt in die nationals Phase vorgeschriebenen 
Handlungen vor alien Bestimmungsamtern vornehmen, die nicht innerhalb von 19 Monaten seit dem Prioritatsdatum in der 
Anmeldung Oder einer nachtraglichen Auswahlerkiarung ausgewahlt wurden oder nicht ausgewahlt werden konnten da fur sie 
Kapitel II des Vertrages nicht verbindlich ist. 
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Europaisches Patentamt, P.B. 5818 Patentlaan 2 
NL-2280 HV Rijswijk 

Tel. (+31-70) 340-2040. Tx. 31 651 epo nl, 
Fax: (+31-70) 340-3016 



Bevollmachtigter Bediensteter 

Lucia Van Pinxteren 



Formblatt PCT/ISA/220 (Juli 1998) 



(Siehe Anmerkungen auf Beiblatt) 



AN 
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jRlfRKUNGEN ZU FORMBLATT PCT/ISA/220 



Otese Anmerkungen sollen grundlegende Hinweise zur Einreichung von Anderungen gem aft Artikel 19 geben Diesen Anmerkungen 
liegen die Erforderntsse dea Vertrags Ober die Internationale Zusammenarbert auf dem Gebtet des Palentweaena (PCT), der Auafuhrungs- 
ordnung und der Verwattijngsnchamien zu diesem Vert rag zugrunde. Bei Abweichungen zwiachen dies en Anmerkungen und 
obengenannten Text en aind letztere maBgebend. Nahere Einzelhetten aind dem PCT-Lertfaden fur Anmeider, einer Veroffentiichung der 
WIPO, zu entnehmen. 

Die in dieaen Anmerkungen verwendeten Beg riff e " Artikel', "Roger und "Abschnitt* beziehen a ten jeweils auf die Beatimmungen des 
PCT-Vertrags, der PCT-Ausfuhrungsordnung bzw. der PCT-Verwaitungsrichtiinien. 



hinweise zu Anderungen gemAss artikel 19 



Nach Erhatt dea into motion aJen Recherchenberichta hal der Anmelder die Mogfichkeit, eirtmal die AnsprOche der intemationalen 
Anmeldung zu andem. Ea tst jedoch zu betonen, daB, da alle Teile der internatJonaJen Anmeldung (AnaprOehe, Beschretbung und 
Zeichnungen) wahrend dee intemaiionalen vorlaufigen PrOfungaverfahrena geandert word en kAnnen, normaierweise keine Notwendlgkeit 
besteht, Anderungen der Anapruche nach Artikel 1 9 einxureichen, auBer wenn der Anmelder z B. zum Zwecke eines vorlaufigen 
Schutzea die Vert ffentlichung dieaer Ansprucbe wflnucht Oder ein anderer Grund fOr erne Anderung der AnaprOehe vor ihrer intemationa- 
len Veroffentlichung voriiegt. Weiterhin iat zu beach ton, daB ein vorlauftger Schutz nur in eirogen Staaten erhaltfich iat 



Welche Telle der Intern at! octalen Anmetdung kAnnen geandert werden? 

Im Rahmen von Artikel 19 konnen nur die Anapruche geandert werden. 

In der intemationalen Phase konnen die Anapruche auch nach Artikel 34 vor der mit der intemationalen vorlaufigen PrOfung be auf - 
tragten Be horde geandert (oder nochmala geandert) werden. Die Beachretbung und die Zeichnungen konnen nur nach Artikel 34 
vor der mit der intemationalen vorlaufigen Prufung beauftragten Behdrde geandert werden. 

Beim Eintrrtt in die nationals Phase kflnnen alle Teile der intemationalen Anmeldung nach Artikel 28 oder gegebenenfalla Artikel 
41 geandert werden. 



Bla warm sJnd Anderungen einzureichen? 

Innerhalb von zwei M on at en ab der Gbermitttung des intemationalen Recherche nbehchta oder inn em alb von aechzehn Monaten ab 
dem Priontatsdatum, je nach dem, welche Frist spater ablauft. Die Anderungen getten jedoch ala rechtzeitig eingereicht, wenn aie 
dem Internabonaien BOro nach AW auf der maBgebenden Frist, aber noch vor AbschluB der techniachen Vorbereitunpen fur die 
Internationale Veroffentlichung (Reg el 46.1) zugehen. 



Wo slnd die Anderungen nlcht elnzurelchen? 

Die Anderungen kAnnen nur beim Intemat 
eingereicht werden (Re gel 46.2). 

Falls ein Antrag auf intemationaJe vortaufige PrQfung eingereicht wurdenvird, aie he unten. 



Die Anderungen kAnnen nur beim Intemationalen BOro, nicht aber beim Anmeldeamt oder der Intemationalen Recherchenbeh&rde 
eingereicht werden (Re gel 46.2). 



In welcher Form konnen Anderungen erfolgen? 

Eine Anderung kann erfolgen durch Streichung eines oder mehrerer ganzer Anapruche, durch HinzufOgung einea oder mehrerer 
neuer AnaprOehe oder durch Anderung dea Wortlauts eines oder mehrerer Anapruche in der eingereichten Faaaung. 

FAr jedes Anapruche Watt, das sich aufgrund einer oder mehrerer Anderungen von dem uraprOnglich eingereichten Blatt 
unterscheidet, iat ein Ersatzblatt einzureichen. 

Alle Anapruche, die auf ein em Ersatzblatt erscheinen, aind mit arabtachen Ziffern zu numerieren. Wird ein Anspruch gestnehen so 
brauchen, die anderen Anapruche nicht neu numeriert zu werden. Im Fall einer Neunumerierung aind die AnaprOehe fortiaufend zu 
numeneren (Verwaltungsrichtlinien, Abachnu: 205 b)). 

Die Anderungen aind In der Sprache abzufassen, In der dleintematlortate Anmeldung veroffentllcht wird. 



Welche Untertagen aind den Anderungen belzutQgen? 
BegletUchreiben (Abschnitt 205 b)): 

Die Anderungen aind mit einem Begleitschreiben einzureichen. 

2f! ! S? telt9Chreifc !f n T ird r!? 1 * f"'*™™ 0 " mit der intemationalen Anmeldung und den geandert en Anspruch en vertffentlicht. Es 
ist nicht zu verwechaeln mit der "Erklarung nach Artikel 1 9(1 )* (aiehe unten, "ErkJarung nach Artikel 1 9 (1 )-). 

SSL 1 a n *^ Wahl d ? s , A / 1m ? der * ,n <«9«*cher oder franzosischer Sprache abzufassen. Bel engllschspra- 
?£S£L i~ 2S f *™^£ U "S ,at d « BegletUchreiben aber ebenfalls In englischer, bel franzdiischsprachlgen Inter- 
natlonalen Anmetdungen In franzosischer Sprache abzufassen. 
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ANMERKORGEN ZU FORMBLATT PCT/1SA/220 (Forfeetzung) 



lm Begteitschreiben sind die Unterschiede zwtschen dan AnsprOchen in der emgereichten Fassung und den geanderten AnsprOchen 
anzugeben. So ist insbesondere zu jedem Anspruch in der irrtematicnalen Anmeldung anzugeben (gletchlautende Angaben zu 
verschiedenen AnsprOchen kdnnen zusammengefaBt warden), ob 

0 der Anspruch unverandert ist; 

ii) der Anspruch gestrichen worden bt; 

iii) der Anspruch neu bt; 

iv) der Anspruch einen oder mehrere Anspruche in der eingereichten Fassung ersetzt; 

v) der Anspruch auf die Tetlung eirtea Anspruchs in der eingereichten Fassung zurOokzufOhren ist. 



lm folgenden sind Betopiele angegeben, wle Anderungen Im Beg I efts* ret ben zu erlautem sind: 

1. [Worn anateOe von ursprOnglich 48 AnsprOchen nach der An de rung einiger Anspruche 51 Anspruche exbtieren] 

"Die Anspruche 1 bis 29, 31 , 32, 34, 35, 37 bs 43 warden durch geanderte Anspruche gleicher Numerierung ersetzt; Anspruche 
30, 33 und 36 unverandert; neue Anspruche 49 bis 51 hinzugefOgt* 

2. (Wenn anstelfe von ursprOnglich 1 S Anspruchen nach der An de rung aller Anspruche 1 1 AnsprOche exbtierenl* 
* Geanderte Anspruche 1 bb 11 treten an die Stella der Anspruche 1 bis 15." 

3. [Wenn ursprOnglich 1 4 AnsprOche existierten und die And* rung en darin bestehen, daB einige AnsprOche gestrichen werden und 
neue AnsprOche hinzugefugt werden]: 

AnsprOche 1 bb 6 und 14 unverandert; Anspruche 7 bb 13 gestrichen; neue AnsprOche 15, 16 und 1 7 NnzugefOgt "Oder* An- 
sprOche 7 bis 13 gestrichen; neue AnsprOche 15, 16 und 17 hinzugefOgt; alte Obrigen AnsprOche unverandert.' 

4. (Wenn verschiedene Art en von An de rung on durchgefOhrt werden]: 

"AnsprOche 1-10 unverandert; AnsprOche 1 1 bb 13, 16 und 19 gestrichen; AnsprOche 14, 15 und 16 durch geanderten An- 
spruch 14 eroetzt; Anspruch 17 in geanderte Anspruche 15, 16 und 1 7 untettectt; neue AnsprOche 20 und 21 hinzugefOgt." 

"ErWarung nach Artikel 19(1)" (Regei 46.4) 

Den An de rung en kann eine ErWarung beigefOgt werden, mit der die Anderungen eriautert und in re Auswirkungen auf die 
Beschreibung und die Zeichnungen dargeiegt werden (die rricht nach Artikel 19 (1 ) geandert werden kdnnen). 

Die ErWarung wird zusammen mit der intemationalen Anmeldung und den geanderten AnsprOchen veroffentiicht. 
Sle tot In der Sprache abzufassen, in der die IfrtematJonaJen Anmeldung veroffentJIcht wlrd. 

Sie muB kurz geheiten sein und darf , wenn in englbcher Sprache abgefaBt oder ins Englbche Obersetzt. nicht mehr als 500 
Wdrter umf assen 

Die ErWarung ist nicht zu verwechsetn mit dem Beglertschreiben, das auf die Unterschiede zwischen den AnsprOchen in der 
eingereichten Fassung und den geanderten Anspruchen hinweist, und ersetzt (etzteres nicht. Sie bt auf einem gesonderten Btait 
einzureichen und m der Uberschrift als sol one zu kennzeichnen, vorzugsweise mit den Worten "ErWarung nach Artikel 19 (1)'. 

Die ErWarung darf keine herabsetzenden AuBerungen Ober den inter nation a ten RecherchenbericH oder de Bedeutung von in dem 
Beneht angefOhrten Veroffentlichungen enthaiten. Sie darf auf im international en Recnerchenbencht angefQhrte Veroffentlichun- 
gen, die stch auf einen besttmmten Anspruch beziehen, nur im Zusammenhang mit einer Anderung dieses Anspruchs Bezug 
n oh men. 



Auswlrkungen eines bersrU gestelKen Antrags auf Intematlonafevoriaufige PrOfung 

Ist zum Zortpunkt der Einreichung von Anderungen nach Artikel 19 bereits ein Antrag auf Internationale voriaufige PrOfung 
gestent worden, so sollte der Anmelder in seinem Interesse gleichzeitig mit der Einreichung der Anderungen beim Intern at ion alen 

5-? o G '?° . Pe c^ f , derU ° 9en *** der mit dor intemationalen voriaufigen PrOfung beauftragen Be horde einreiehen (siehe 
rtegei b£.z a), erster Satz). 

na^ate Pha.e° n Andofun9en *»lntJclrtllch der Obersetzung dertntematlonalen Anmeldung beim Elntrttt In die 

Der Anmelder wird darauf hingewtesen, daB bet Eintritt in die nation ale Phase moglicherweise anstatt oder zusatzlich zu der Lfber- 
^r™* / Pf ^ C ^ tn d f f f rnoero «rrten Fassung eine Obersetzung der nach Artikel 19 geanderten AnsprOche an die 
besbmmten/ausgewahlten Amter zu Obermitteln ist. 

z^ r ^m^r° il0n Qber *° Erforderniss * jode3 beat'mmten/ausge wahKen Amts sind Band II des PCT-Lertfadens fur Anmelder 
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25 
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Non-establishment of opinion with regard to novelty, inventive step and industrial applicability 
Lack of unity of invention 

Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
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Certain defects in the international application 

Certain observations on the international application 
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Name and mailing address of the IPEA/EP 
Facsimile No. 


Authorized officer 
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Form PCT/IPEA/409 (cover sheet) (July 1998) 



international application No. 

INTERNATIONAL PRELIMINARY EXAMINATION REPORT I PCT/EP00/003 1 7 



I. Basis of the report 



1. With regard to the elements of the international application:* 
| | the international application as originally filed 

the description: 

pages ' , as originally filed 

pages .filed with the demand 

pages 1-18 , filed with the letter of 26 February 2001 (26.02.2001) 

the claims: 

pages , , as originally filed 

pages , as amended (together with any statement under Article 19 

pages * filed witn me demand 

pages 1-26 , filed w i m the letter of 26 February 2001 (26.02.2001) 



the drawings: 

pages 1/3-3/3 , as originally filed 

pages , filed with the demand 

pages t filed with the letter of 

| | the sequence listing part of the description: 

pages t as originally filed 

P a 8 es , filed with the demand 

Pages , filed with the letter of 

2. With regard to the language, all the elements marked above were available or furnished to this Authority in the language in which 
the international application was filed, unless otherwise indicated under this item. 

These elements were available or furnished to this Authority in the following language which is: 

□ 

the language of a translation furnished for the purposes of international search (under Rule 23. 1(b)). 
I I the language of publication of the international application (under Rule 48.3(b)). 

I I the language of the translation furnished for the purposes of international preliminary examination (under Rule 55.2 and/ 
or 55.3). 

3. With regard to any nucleotide and/or amino acid sequence disclosed in the international application, the international 
preliminary examination was carried out on the basis of the sequence listing: 

I 1 contained in the international application in written form. 

I | filed together with the international application in computer readable form. 

1 I furnished subsequently to this Authority in written form. 

□ furnished subsequently to this Authority in computer readable form. 

The statement that the subsequently furnished written sequence listing does not go beyond the disclosure in the 
international application as filed has been furnished. 

I I The statement that the information recorded in computer readable form is identical to the written sequence listing has 
been furnished. 

4. I I The amendments have resulted in the cancellation of: 

I 1 the description, pages 

I I the claims, Nos. 

[ I the drawings, sheets/fig 



^ R7J This report has been established as if (some of) the amendments had not been made, since they have been considered to go 
^—^ beyond the disclosure as filed, as indicated in the Supplemental Box (Rule 70.2(c)).** 

* Replacement sheets which have been furnished to the receiving Office in response to an invitation under Article 14 are referred to 
in this report as "originally filed" and are not annexed to this report since they do not contain amendments (Rule 70. J 6 
and 70 J 7). 

** Any replacement sheet containing such amendments must be referred to under item 1 and annexed to this report. 
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INTERNATIONAL PRELIMINARY EXAMINATION REPORT 



^^Hmational application No. 
|PCT/EP 00/00317 



I. Basis of the report 



1 . This report has been drawn on the basis of (Replacement sheets which have been furnished to the receiving Office in response to an invitation 
under Article 1 4 are referred to in this report as "originally filed" and are not annexed to the report since they do not contain amendments.) : 

Contrary to PCT Article 34 (2) (b) , the following specified 
amendments introduce facts that go beyond the subject 
matter of the disclosure in the international application 
as filed: 



The feature of the originally filed Claim 19 and page 6, 
line 19 of the description that if MPlsi corresponds to 
the highest load, then q ± (new) =q cl would be replaced by 
qi (new)=c q i in the correspondingly amended Claim 17 and on 
page 6, line 18 of the description. 



There is no basis for this replacement in the original 
application. It is clear from page 7, line 25 and page 
15, lines 19 and 30-31 of the original description in 
combination with the original Claim 19 that q c i and c ql are 
different constants with different proposed values. 



Therefore, the report is established as if the amendments 
had not been made. 
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V. Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 



Statement 
Novelty (N) 

Inventive step (IS) 
Industrial applicability (IA) 



Claims 
Claims 

Claims 
Claims 

Claims 
Claims 



1-26 



1-26 



1-26 



YES 
NO 
YES 
NO 

YES 
NO 



2. Citations and explanations 

Due to the lack of clarity referred to in Box VIII, the 
following statements are subject to the interpretation of 
the claims indicated in Box VIII. 



Reference is made to the following document: 



Dl: EP 0 645 702. 



Dl is cited in the application. A copy of said document is 
appended hereto. 

1. The subject matter of Claim 1 is novel and inventive 
under PCT Article 33(2) and (3). 

Document Dl, distinguishing the current load "a" from the 
available "load a' actually applying to the processor", 
discloses (see especially page 6, line 29 to page 9, line 
5, Drawings 3 and 4) all essential features of Claim 1 
with the following exceptions: 

The use mentioned in Claim 1 of a distributable part 
V for assessing the available load is not explicitly 
mentioned in Dl for estimating the corresponding load 
applying. Because of page 3, lines 26-32 and page 7, lines 
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Q^Piational application No. 
PCT/EP 00/00317 



55-58 of Dl, this feature would be obvious and appears to 
be suggested by factor "d" in the formula on page 7, line 
14 of Dl. 

According to Dl, each processor distributes its 
distributable load to other processors if an independent 
load balancing flag LBF is set (see Dl, page 9, lines 2- 
5), while according to Claim 1 distribution occurs when 
the distribution quota qi exceeds a predetermined value q v . 
This change from the prior art is not shown in or made 
obvious by the search report citations or by Dl itself. 

At an appropriately selected value q v , the method in Claim 
1 allows for each processor already under a low load to 
enter load distribution smoothly. In the method of Dl, 
each processor that exceeds a certain overloading is 
abruptly changed from no distribution to the highest 
possible degree of distribution, which can lead to load 
oscillation . 

2. The subject matter of the claims dependent on Claim 
1 and of independent Claim 25 in combination with the 
features of Claim 26 is novel and inventive under PCT 
Article 33(2) and (3) since these claims contain all the 
essential features of Claim 1. 
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VII. Certain defects in the international application 



The following defects in the form or contents of the international application have been noted: 



The description on page 3 is not consistent with the 
claims (PCT Rule 5 . 1 (a ) ( iii ) ) . 
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VIII. Certain observations on the international application 



The following observations on the clarity of the claims, description, and drawings or on the question whether the claims are fully 
supported by the description, are made: 

The numbering of the claims skips number 5. 



Contrary to PCT Article 6 in conjunction with the 
requirements pertaining to independent claims in PCT Rule 
6.3(b), independent Claim 25 does not contain all the 
features necessary for the definition of the invention. 



In addition to the features already specified in Claim 25,- 
the feature of Claim 26 is also essential for the system 
of Claim 25 in order to solve the problem addressed by the 
invention since no alternative therefor is evident in the 
description . 
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Veroffentticht 

Mit intemaiionalem Recherchenberichi, 

Vor Ablauf da-fir Andenmgen der Anspruche zugeiassencn 

Frist; Veroffentlichwtg wird wiederhoh Jails Andenmgen 

euitreffen. 



(54) Title: LOAD DISTRIBUTION METHOD FOR A MULTIPROCESSOR SYSTEM AND CORRESPONDING MULTIPROCESSOR 
SYSTEM 

(54) Beiefchnung: LASTVERTEILUNGSVERFAHREN EINES MULTIPROZESSORSYSTEMS UND MULTIPROZESSORSYSTEM 
(57) Abstract 



The invention relates to a method 
for distributing a load in a real time 
multiprocessor system and to a corre- 
sponding multiprocessor system. A dis- 
tribute quota establishing the proportion 
of the distributable load to actually be 
distributed is determined on each pro- 
cessor. This distribute quota is redeter- 
mined at intervals. The only information 
which is required by the processors for 
each interval of time are load value in- 
dicators, which depend on an estimated 
load. Probabilities indicating how the 
load is transferred from one processor 
to the others during the load distribu- 
tion are also determined Each proces- 
sor then distributes its distributable load 
when its distribute quota exceeds a pre- 
determined value, in accordance with 
said distribute quota and its load distri- 
bution factors. 
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(57) Zusanunenfassung 

Die Erfi ndung betrifft cin Verfahren zur Lastvcrteihmg in einem Realzeii-Multiprazessoisystem und cin Multiprozessorsystem. wobci 
auf jedem Prazessar cine Verttilquote gcfilhrt wird, die den Antci] dex verteilbaren Last, der tatsachlich verteilt werden soil, festsetzt Die 
Vcrtdlquote win! in Zeitintsrvallen neu bestimmL Die einzige Information, die jedes Zcilintervall von den andercn Prozessoren benotigt 
wild, sind Lastwetiindikatoren, die von einer gese h alzten Last abhangen. ZusitzUch werden Wahistheinlichketten gefilhrt, welcfae angeben, 
wie bei Lastvcrtcihmg Last von einem auf die andeien Prozessoren Obenragen wird. Anschltessend veiteilt jeder Ptozessor anhand seiner 
Verteilquote und seiner LastverteUimgsraktoren seine vertetlbare Last an andere Prozcssorcn, wenn seine Verteiknioce einen vorgegebenen 
Wert Oberschreitet 
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GR 99 P 1082 
Description 

Load distribution method of a multiprocessor system, 
and multiprocessor system 

The invention relates to a method for load 
distribution in a multiprocessor system, in particular 
in a multiprocessor system of a communication system, 
in which tasks that arise can be processed by a 
plurality of processors MP± (where i=l,2,...,n) under 
real-time conditions, and to a multiprocessor system, 
in particular of a communication system, having a load 
distribution mechanism. 

A similar method for load distribution in a 
multiprocessor system, in particular in a 
multiprocessor system of a communication system, is 
disclosed for example in the applicant's European 
patent application EP 0 645 702 Al . This document 
discloses a method for load balancing in a 
multiprocessor system, in particular a multiprocessor 
system of a communication system, in which tasks that 
arise can be processed by a plurality of processors 
under real time conditions, in which case, in order to 
perform the load balancing, generally the following 
method steps are mentioned: 

- each processor determines its load state in 
the form of a quantified magnitude, 

- the load states of the other processors are 
communicated to each processor within a time frame, 

- depending on its load state exceeding a 
specific magnitude and depending on the load states of 
the remaining processors, each processor outputs at 
least a portion of the tasks arising in it to the 
remaining processors, and 
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- the output tasks are divided between the 
remaining processors in accordance with the load states 
thereof . 

In the exemplary embodiment, the method is 
5 concretized to the- effect that distribution quotas are 
calculated during operation continually and before 
entry into the load distribution, which in this case 
does not begin until after a specific overload has been 
reached, according to which distribution quotas the 

10 individual processors output their distributable load 
to other processors in the case of overload. If the 
system is permanently utilized to capacity in a 
nonuniform manner, then the load is distributed only in 
the event of overload of one or more processors. This 

15 is accompanied by unnecessary load rejection, however. 
Reducing the overload threshold to a lower value does 
not lead to a satisfactory result because then an 
unnecessarily large amount of load is distributed and 
oscillation states can arise. This situation emerges 

20 from the assumption made there that the overload or the 
nonuniform loading lasts for a short duration. 

It is an object of the invention, therefore, to 
specify an improved load distribution method for a 
multiprocessor system which commences in good time and 

25 in a "soft" fashion and thereby eliminates permanent 
unbalanced load states in the load offer without load 
rejection. Moreover, the intention is also to specify a 
corresponding multiprocessor system. 

The object is achieved on the one hand by means 

30 of a method having the method steps of the first method 
claim and on the other hand by means of a 
multiprocessor system having the features of the first 
apparatus claim. 

Accordingly, the inventors propose a method for 

35 load distribution in a multiprocessor system, in 
particular in a multiprocessor system of a 
communication system, in which tasks that arise can be 
processed by a plurality of processors MPi (where 
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i = l,2,...,n) under real-time conditions, 
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having the following iterative method steps that are 
repeated at time intervals CI: 

- each processor MPi determines its actual load 
state Yi - determines, if appropriate, directly from 

5 this a multi-value load status (load state) MPlsi - and 
estimates as a function of previously communicated 
distribution quotas qi(old) (where qi = load proportion 
to be distributed, if possible, to other processors 
MP k ) and the typically distributable proportion V of a 
10 typical task its offered load A ± , which leads to a 
multi-value load indication value (balancing indicator) 
MPbii, 

- each processor MPi indirectly or directly 
communicates its load indication value MPbii to the 

15 respective other processors MP k (where 

k = 1,2, . . .i-1, i+1, . . -n) , 

- each processor MPi determines its load 
distribution factors p ±j (where j = l,2,...n) as a 
function of the load indication values MPbi k of said 

20 other processors MP k , 

- each processor MPi determines its 
distribution quota qi(new) as a function of its actual 
load state Yi and the load distribution factors Pij, 

- on the basis of its quota qi and its load 
25 distribution factors p ± j, each processor MPi distributes 

its distributable load to other processors MP k if its 
distribution quota qi(new) exceeds a predetermined 
value q v - 

In order to estimate the offered load Ai of a 
30 processor MP ± , it is advantageous to use the formula 
Ai:=Yi/(l- qi V) . 

It is also advantageous to subdivide the multi- 
value load indication value (balancing indicator) MPbii 
into three 
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discrete values, preferably the following demarcation 
with threshold values holding true: NORMAL for MPbii if 
the processor capacity utilization is from 0 to 70%, 
HIGH for MPbii if the processor capacity utilization is 
5 from 7 0% to 85%, and OVERLOAD for MPbii if the 
processor capacity utilization is above 85%. 

It is also advantageous if a hysteresis is 
introduced in the case of a load state alteration on 
account of threshold value overshooting or threshold 

10 value undershooting in the case of rising or falling 
processor capacity utilization. 

Moreover, it may be advantageous if the load 
indication value (balancing indicator) MPbi ± is subject 
to a temporal hysteresis with regard to changes and 

15 thus experiences a certain inertia. Values of 1 to 2 
time intervals CI can advantageously be assumed as 
hysteresis limit. 

With regard to the multi-value load status 
(load state) MPlSi, the assumption of four discrete 

20 values is proposed as being particularly preferred, the 
following preferably being assumed: NORMAL for MPlSi if 
the processor capacity utilization lies below 70%, HIGH 
for MPlSi if the processor capacity utilization is from 
70% to 85%, OVERLOAD for MPls ± if the processor 

25 capacity utilization lies above 85%, and EXTREME for 
MPlSi if the load state OVERLOAD permanently prevails. 
In this case, too, it may be advantageous if the load 
status (load state) MPlSi is subject to a hysteresis 
with regard to changes. Values of 1 to 2 time intervals 

30 CI can advantageously be assumed as hysteresis limit. 

Further advantageous assumptions in the 
performance of the method according to the invention 
are: the typical distributable proportion V of a 
typical task shall be the average 
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or maximum proportion, and an average or maximum 
processing time of a task shall be assumed as the 
typical processing time of a task. In this case, the 
respective average value or maximum value of a 
5 proportion and respectively of a task can also 
advantageously be continually determined during the 
operating time and, if appropriate, be incorporated as 
a moving value and be adopted in updated form into the 
load distribution method. It is favorable here if the 

10 time duration over which the moving values are 
determined is long relative to the control interval CI. 

It is also particularly advantageous if the 
following holds true for the predetermined value q v of 
the distribution quota q± starting from which the 

15 processor MPi distributes distributable load to other 
processors MP k : 0.05<q v <0.3, preferably 0.1<q v <0.25, 
preferably q v =0.2. 

Furthermore, the method according to the 
invention can be configured particularly advantageously 

20 if the following criteria are satisfied in the 
calculation of the distribution quota qi: 

- Pi±: = 0 

- if MPbij corresponds to an average load, 
preferably MPbij = NORMAL, the following holds 

25 true: 

Pij (new) = pi j (old) +pci/n, for j-l,...,n and i*j 

- if MPbij corresponds to a high load, 
preferably MPbij— HIGH, the following holds true: 

pij (new) = pi j (old) -p c2 /n, for j = l,...,n and i^j 
30 - if MPbij corresponds to an overload, 

preferably MPbij =OVERLOAD, the following holds true: 
pij (new) = 0 

- in which case preferably the pij (j=i, ..., n ) is 
normalized to 1 with the sum p sum of the Pij and 
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- as initialization value at the beginning of 
the distribution processes, all pij, excluding p iif are 
identical . 

As advantageous numerical values, 0.1<p c i<0.5, 
5 preferably 0.2<p c i<0.3 and preferably p c] =0.25 may be 
assumed for the constant p c i. Equally, it is 
advantageous to set 0.1<p C 2<0.5, preferably 0.2<p c2 <0.3, 
preferably p c2 =0.25 for the constant p C 2- Moreover, the 
initialization value of the p±j at the beginning of the 
10 distribution processes can be set to be equal to (n-1)" 1 . 

Furthermore, the method according to the 
invention can be configured particularly advantageously 
if the following criteria are satisfied in the 
calculation of the load indication values MPbij.: 
15 - if MPlsi corresponds to the highest load, 

preferably MPlsi=EXTREME, the following holds true: 
q± (new) =q c i, 

- if Psum ^ 1 holds true: 

- if the actual load state Y± is greater than a 
20 predetermined value thresholds q± is increased where 

qi=min{qi+c q i, 1} , 

- if the actual load state Y ± is less than a 
predetermined value thresholds q± is decreased where 
qi=max{qi-c q2 , c q3 } , where 0<c q3 <q v , preferably c q3 =0.1, 

25 - otherwise (threshold N < Y± < threshold H ) , qi 

obtains an intermediate value between the two 
alternatives mentioned above, preferably by linear 
interpolation 

- if Psum ^ 1 holds true: qi (new) =qi (old) * p S um. 
30 For optimal configuration of the method, the 

following ranges of numbers of numerical values are 
preferred for the constant c q i: 




GR 99 P 1082 

- 7 - 

0.05<c q i<0.3, preferably 0.1<c q i<0.2, preferably 
c q i=0.15. Moreover, preferably 0 . 05<c q2 <0 . 2 , preferably 
c q 2=0.10 can be assumed for the constant c q 2 - 

With regard to the constant thresholds the 
5 following is regarded as a preferred range of values: 
0.6< threshold N <0.8, preferably threshold N =0 . 7 . 

With regard to the constant thresholds the 
following is regarded as a preferred range of values: 
0.7< threshold H <0.95, preferably threshold H =0 . 8 5 . 
10 Another configuration of the method according 

to the invention provides for an overload value OLi of 
the processors MPi to be additionally determined in 
each time interval CI, which value is a measure of the 
magnitude of the overload and serves as a benchmark for 
15 overload rejection, where OLi=0 , 1 , . . .m and the 
distribution quota qi to be increased in any case if 
OLi>0 where q± (new) : =min{ qi (old) +c ql , 1 } . 

According to the invention, it is also possible 
to adapt the load distribution method to changing 
20 boundary conditions by the above-specified constants 
(q V / Pcif Pc2, qcif <3c2/ threshold^ thresholds c q i, c q2 , 
c q3 ) being at least partly adapted during operation. 

The invention additionally proposes a 
multiprocessor system, in particular of a communication 
25 system, having a plurality of processors MPi (where 
i=l,2,...,n) for executing tasks that arise under real- 
time conditions, in which case: 

- each processor MPi has means for determining 
its actual load state Yi, - 
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if appropriate for determining directly from this a 
multi-value load status (load state) MPlsi - and for 
estimating as a function of previously communicated 
distribution quotas qi(old) (where qi=load proportion to 
5 be distributed, if possible, to other processors MP k ) 
and the typically distributable proportion V of a 
typical task its offered load A ± , which leads to a 
multi-value load indication value (balancing indicator) 
MPbii, 

10 - each processor MPi has means for indirectly 

or directly communicating its load indication value 
MPbii to the respective other processors MP k (where 
k = 1,2, . . .i-l,i+l, . . .n) , 

- each processor MPi has means for determining 
15 its load distribution probabilities p ±j (where 

j = l,2,...n) as a function of the load indication 
values MPbik of said other processors MP k , 

- each processor MPi has means for determining 
its distribution quota q ± (new) as a function of its 

20 actual load state Yi and 

- each processor MPi has means for 
distributing, on the basis of its quota qi and its load 
distribution factors pij, its distributable load to 
other processors MP k if its distribution quota qi(new) 

25 exceeds a predetermined value q v - 

According to the invention, the multiprocessor 
system proposed above can be configured such that one 
of the abovementioned methods is implemented in each 
case, the implementation being effected by 

30 corresponding programming of the processors. 
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It should also be pointed out that the index 
(old) relates in each case to the values of the 
preceding iteration step, and the index (new) relates 
to the now current iteration step. 
5 The particular advantage of the method 

according to the invention and of the corresponding 
multiprocessor system is that, in contrast to the prior 
art mentioned in the introduction, it ensures a "soft" 
entry into the load distribution and, as a result, is 
10 more adaptable and less susceptible to unbalanced load 
situations, and oscillation states are avoided better. 
Ultimately, this reduces the probability of the 
rejection of tasks, in particular switching tasks. 

Further configurations, additional features and 
15 advantages of the invention emerge from the following 
description of a preferred exemplary embodiment with 
reference to the drawings . 

It is understood that the features of the 
invention that have been mentioned above and will be 
20 explained below can be used not only in the combination 
respectively specified but also in other combinations 
or by themselves, without departing from the scope of 
the invention. 

Specifically, in the figures: 
25 Figure 1: shows a flow diagram of the arising and 

distributed load offer 
Figure 2a: shows a graphical illustration of the 

decisions for updating the load 
distribution factors pij 
30 Figure 2b: shows a graphical illustration of the 

decisions for updating the distribution 
quotas qi 

Figure 3: shows a formula for linear interpolation 

of q±. 
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The method according to the invention (normal 
load balancing=NLB) is a load balancing method in which 
quotas are set and which runs on a multiprocessor 
system, in particular in a switching center of a 
5 communication system, for distributing operating loads 
that arise between the respective other processors, and 
is intended to ensure that lengthy unbalanced load 
situations are eliminated and as far as possible all 
requested tasks are processed in the shortest possible 

10 time. A particularly advantageous embodiment of this 
method will be described below. 

Each processor MPi where i=l,2,...,n carries a 
distribution quota qi, which fixes the proportion V of 
the distributable load which is actually to be 

15 distributed. Such a quota enables a softer entry or 
exit from the load distribution to other processors. 
Oscillation states and load fluctuations are avoided in 
this way. This may be the case, for example, if a 
processor distributes so much load to another processor 

20 that the latter is in turn overloaded. 

.The distribution quota q± is determined anew at 
each time interval CI. The only information required by 
the other processors MP k where k=l, . . . i-1, i+1, . . . n for 
each CI are load value indicators {balancing 

25 indicators) MPbij.. These load value indicators 
are - similarly to the load status values (load states) 
from the load control - load states having the 
significances NORMAL, HIGH or OVERLOAD. While the load 
state is determined on the basis of the actually 

30 processed load Y ± of the processor MPi, the load value 
indicator MPbii is determined from an estimation of the 
currently offered load Ai. The estimated offered load Ai 
may, due to load distribution, be considerably more 
than the actually processed load Yi and constitutes the 

35 crucial quantity which {in the form of the load value 
indicator MPbii) is made available as information by 
one processor MP ± to the others MP k . 
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In addition to the distribution quota qi, each 
MPi carries probabilities pij which indicate the 
probability that, in the event of load distribution, 
load will be transferred from the i-th processor MP± to 
5 the j-th processor MPj . The probabilities are 
determined in such a way that if, for instance, the j- 
th processor MPj already has a large amount of load to 
process and, therefore, can only take up a small amount 
of additional load, the associated pij is less than the 

10 P ik for a free MP k . 

Figure 1 illustrates the interaction of the p ±j 
and qi . The double indexing "ij" of the characteristic 
quantities means that the respective processor with the 
number of the first index (here i) in each case knows a 

15 "column" of n values with the second index (here j). It 
should be noted that each processor only knows its 
relevant values (that is to say its column) , overall a 
square matrix being known in the system. Thus, for 
example, p±j is the probability that load will be 

20 distributed from the i-th MP to the j-th MP if the i-th 
MP has too much load. 

In Figure 1, moreover, the actually processed 
load of the j-th processor MPj is designated by Yj, the 
estimated offered load is designated by Aj and that 

25 part of the load offer which can be shifted is 
designated by a. The load situation shown is overload 
(OVERLOAD) on MPi, there still being space for 
additional tasks on the MP k where k=2,3,4. The figure 
shows how the MPi processes a first part of the load 

30 itself and distributes the remainder a. Of this 
remainder a, the largest proportion goes to MP 3 and the 
smallest proportion to MP 4 , which, in this example, 
thus already has a large amount of its own load to 
process. The loads which the MP k additionally receive 

35 besides that from MPi are not depicted. The width of 
the flow bars represents a measure of the magnitude of 
the load. 
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The following algorithm . is thus produced in 
accordance with the concept of the invention: if the j- 
th processor MPj reports the balancing indicator 
NORMAL, the pij is increased on the MP± respectively 
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considered. The probability that this processor MP ± 
will output load to MPj if it has to distribute load 
thus rises. If the balancing indicator HIGH is 
reported, then the pij is decreased. If the balancing 
5 indicator OVERLOAD is reported, pij is set to zero, with 
the result that no load is output to the j-th processor 
MPj. The distribution quota qi is changed following the 
determination of the pij . If many of the pij were able 
to be increased, then the sum of the p±j over j is 
10 greater than 1 and there is evidently still space on 
the other processors MP k . The distribution quota q± can 
thus be changed according to the requirements of the 
processor (considered) . 

The distribution quota q± is increased in the event of 
15 high load Y± on the processor MP ± considered, and q ± is 
decreased in the event of low load. If many of the p ±j 
have been reduced, then the sum of the pij over j is 
less than 1 and the distribution quota q ± must be 
reduced . 

20 An illustration of these decisions is 

represented in figures 2 and 2b. The decision diagrams 
show the updating algorithms for pij (Figure 2a) and for 
distribution quota qi (Figure 2b) , which are carried 
out in each time interval CI for the i-th processor 

2 5 MP ± . 

In the load distribution method (NLB) according 
to the invention, some parameters (constants) are 
required, the choice of which can greatly influence the 
behavior in specific load situations. In most cases 

30 this results in a conflict between a load distribution 
method which can react rapidly to load changes, and a 
stable load distribution method which does not tend 
toward oscillations and further distribution of tasks. 
In this case, "further distribution" means the 

35 simultaneous distribution of dedicated load and the 
processing of extrinsic load on one processor. 

The following parameter changes bring about a 
more rapidly reacting NLB: 
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- the relatively great alteration of qi where: 

0.15<C q i, 0.1<C q2 

- the relatively great alteration of the pij 
where: 0.25<p c i, 0.25<p c2 

5 - the relatively late setting of the load 

indication values MPbii where: threshold H >0 . 7 (i.e. 
report only in the event of relatively high load ^HIGH' 
to the other processors MPk) 

In detail, the preferred method thus proceeds 
10 as follows in a multiprocessor communication computer: 

As the duration of the time interval (control 
interval) CI of the time frame with which the method 
iteratively proceeds, 1 to 2 seconds is preferably 
chosen in the case of the presently known 
15 multiprocessor systems appertaining to switching 
technology. It goes without saying that the time 
interval can be shortened with rising processor power. 

The quantities q±, p±j, MPlsi and MPbij are 
updated in each control interval CI. 
20 The actually processed load Y± of a processor 

MPi is determined as processor run time quantity, 
measured in erlangs. 

The estimated offered load Aj of a processor MP± 
is determined from the distribution quota qi of the 
25 current control interval CI and the estimated 
distributable proportion of an average task, for 
example the processing of a call. 

The following holds true: 

The number of processors MPi in the 
30 multiprocessor system is n. 

A± := Yi/(l-qiV), where V is the distributable 
proportion of a call. 

MPlsi: load state of the i-th MP, can assume 
the values NORMAL, HIGH, OVERLOAD or EXTREME. The 
35 actually processed load Yi is used to calculate the 
load state. 
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In order to avoid premature changes of the 
MPlSi, hystereses are introduced. If, for instance, the 
MPlsi is set from NORMAL to HIGH, it must be the case 
that Y ± > threshold N + A+, whereas, in order to get from 
5 HIGH to NORMAL, it must be the case that 
Yi < threshold N - A_. This procedure is also known as 
the high water-low water method. In the case of 
EXTREME, the distribution method (load balancing) must 
be switched off for this processor MP ± , for system 

10 engineering reasons relating to the switching center. 

thresholds is the normal load 

threshold - after taking a hysteresis into account, the 
MPls is recorded as NORMAL below the said threshold and 
as HIGH above said threshold. 

15 thresholds High load threshold - after taking 

a hysteresis and a load-dependent temporal delay (start 
indicator) into account, the MPls is recorded as HIGH 
below this threshold and as OVERLOAD above said 
threshold. 

20 The load indication value (balancing indicator) 

MPbii of the i-th processor M?± can assume the values 
NORMAL, HIGH or OVERLOAD. This value is calculated like 
the MPlsi, except that here, instead of the actual load 
Yi, the estimated offered load Ai is taken as a basis 

25 and other values are adopted for A+ and A_, where 
A + = A_ = 0.02. 

■ In addition, an Overload Level OLi of the 
processor MP± is determined, which can assume the 
values 0... 6 and is conceived as quantification of the 

30 overload state of the processor MPi. If the OLi>0, calls 
are rejected; the higher the value, the greater the 
probability that a call will be rejected. 

The load which is to be distributed from MP ± to 
MPj is expressed as a probability p i3 and can thus 

35 assume values between 0 and 1. 

The magnitude of the value pij is determined by 
the following criteria: 
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- initialize p±j where p i; j : = (n-1 ) _1 

- Pi±: 0/ MPi should not distribute to itself. 

- If MPbi j=NORMAL : p ±j -> p±j + 0.25/n, 
j=l,...,n, i^j . The old p ± j can be increased because 

5 there is still space on the processor MPj . 

- If MPbij=HIGH : p ±j p ±j - 0.25/n. The old pij 
must be decreased because MPj is utilized to full 
capacity. 

- If MPbi j=OVERLOAD : p ±j = 0 . No load should be 
10 output to overloaded processors MP n . 

The newly determined p±j must still be 
normal! zed : 

Set p SUItl = sum (pij) over j = l,...,n and normalize 
(if p svm > 0) where p ±j -> Pij/p SU m 
15 Afterward, the distribution quota qi is 

determined using the following criteria: 

- Initialization value: qi = 0.1 

- If the MPlsi =EXTREME : q ± = 0.1. This MP is 
overloaded so severely that even its own proportion for 

20 a distributed call would overtax it. Therefore, no load 
balancing, rather only rejecting; load balancing is not 
practical, moreover, for system engineering reasons 
relating to the switching center. 

- If Psum > 1/ more load can evidently be 
25 distributed, qi can then be determined according to the 

requirements of the MPi, where: 

1. If the OLi > 0, increase qi in any case, 
where: qi — > min { q± + 0.15, 1} 

2. If Yi > thresholds increase q±, where: 
30 qi -> min { qi + 0.15, 1} 

3. If Yi < thresholds decrease qi, where: 
qi max {qi - 0.10, 0.1} 

4. Otherwise, if threshold N < Y± < threshold H 
the following holds true: 

35 q ± -> min{max{ qi+ (0 . 25/threshold H -threshold N ) ) * 

(Yi-threshold N ) -0. 1, 0.1}, 1.0} 
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This is the linear interpolation between the 
above increase by 0.15 and the above decrease by 0.1. 
The formula is represented again more readably in 
figure 3. 

5 - If psum< If evidently too much load was 

distributed and q± must be decreased, where: 

q± -> q± * Psum- 

- The processor MP ± distributes load to other 
processors MP k if it becomes the case that q ± > 0.25. 
10 The method according to the invention thus has 

the following properties and advantages: 

A very small information overhead between the 
processors participating in the load distribution 
method. Only a few, preferably three-value, load states 
15 are reciprocally known, which load states are updated 
and distributed only once per control interval. 

For each processor there is a quota which is 
updated in each control interval and regulates the 
proportion of the load which is to be distributed from 
20 the processor considered to the other processors 
involved. 

For each processor there are individual 
regulators which divide between the other processors 
the load that is to be distributed. 

25 The method is not only designed as a "fire- 

fighting measure" which only takes effect when a 
processor reaches overload and, if appropriate, tasks 
(calls) are rejected, rather the load distribution 
commences earlier and in a softer fashion. As a result, 

30 continuous unbalanced load states can be processed 
better and with fewer rejected tasks (calls) . 
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In the method according to the invention, the 
load states which are distributed to the other 
processors are consistently determined on the basis of 
the estimated offered load and not on the basis of the 
5 actually processed load. 

The method does not require a load balancing 
flag which regulates entry into the load distribution. 
The entry is regulated by way of the distribution quota 
q ± . Furthermore, mutual dependencies between the load 
10 states and the load balancing flag have been eliminated 
as a result of the absence of a load balancing flag. As 
a result, the algorithm can more easily be subsequently 
adapted to changed conditions. 

The load-dependent alteration of the individual 
15 regulators (load distribution factors pij ) takes place 
as a function of the number n of processors 
participating in the load distribution. Consequently, 
the method is independent of the number of processors 
involved . 

20 The load-dependent alteration of the 

distribution quotas and of the individual regulators 
per control interval takes place in such a way as to 
avoid excessively slow "creeping" to the optimum value. 

The load-dependent alteration of the individual 

25 regulators prevents the values from staying at the 
setting of the preceding load distribution period 
during a period without load distribution. Rather, 
there is regulation back to an initial setting. 

The inertia - known from the prior art - in the 

30 alteration of the quotas has been removed in order to 
enable easier tracking to the load situation that is 
actually present. 
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1. A method for load distribution in a 

multiprocessor system, in particular in a 
multiprocessor system of a communication system, in 
which tasks that arise can be processed by a plurality 
of processors MPi (where i = l,2,...,n) under real-time 
conditions, having the following iterative method steps 
that are repeated at time intervals CI: 

- each processor MPi determines its actual load 
state Y± - determines, if appropriate, directly from 
this a multi-value load status (load state) MPlsi - and 
estimates as a function of previously communicated 
distribution quotas q ± (old) (where q ± = load proportion 
to be distributed, if possible, to other processors 
MP k ) and the typically distributable proportion V of a 
typical task its offered load A ± , which leads to a 
multi-value load indication value (balancing indicator) 
MPbii, 

- each processor MPi indirectly or directly 
communicates its load indication value MPbii to the 
respective other processors MP k (where 
k = 1,2, . . .i-l,i+l, . . .n) , 

- each processor MPi determines its load 
distribution probabilities pij (where j = 1,2,... n) as a 
function of the load indication values MPbi^ of said 
other processors MP k , 

- each processor MP ± determines its 
distribution quota q ± (new) as a function of its actual 
load state Yi and the load distribution factors pij 
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- on the basis of its quota qi and its load 
distribution factors pij, each processor MPi distributes 
its distributable load to other processors MPk if its 
distribution quota qi(new) exceeds a predetermined 
5 value q v . 

2. The method as claimed in the preceding claim 1, 

characterized in that the estimated offered load Ai of 
a processor MPi is calculated according to the formula 
Ai—Yi/d-qiV) . 

10 3. The method as claimed in one of the preceding 

claims, characterized in that the multi-value load 
indication value (balancing indicator) MPbi ± can assume 
three discrete values, preferably NORMAL (=0 to 0.7), 
HIGH (=0.7 to 0.85) and OVERLOAD (=0.85 to 1). 

15 4. The method as claimed in the preceding claim 3, 

characterized in that the load indication value 
(balancing indicator) MPbii is subject to a hysteresis 
with regard to changes. 

5. The method as claimed in one of the preceding 

20 claims, characterized in that the multi-value load 
status (load state) MPlsi can assume four discrete 
values, preferably NORMAL (=0 to 0.7), HIGH (-0.7 to 
0.85), OVERLOAD (=0.85 to 1)' and EXTREME (if load 
status over a plurality of CI OVERLOAD) . 
25 6. The method as claimed in the preceding claim 3, 

characterized in that the load status (load state) 
MPlsi is subject to a hysteresis with regard to 
changes . 
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7. The method as claimed in one of the preceding 
claims, characterized in that the value of the actual 
load Yi is proportional to the processor run time. 

8 . The method as claimed in one of the preceding 
5 claims, characterized in that the average or maximum 

proportion is regarded as typical distributable 
proportion V of a typical task CallP. 

9. The method as claimed in the preceding claim 8, 
characterized in that the average or maximum proportion 

10 of a typical task is continually determined as moving 
average or moving maximum value over a predetermined 
time period t D . 

10. The method as claimed in the preceding claim 9, 
characterized in that the following holds true for the 

15 predetermined time period t D : t D » CI. 

11. The method as claimed in one of the preceding 
claims, characterized in that an average or maximum 
task is assumed as the typical task. 

12. The method as claimed in the preceding claim 8, 
20 characterized in that the average or maximum task is 

continually determined as moving average or moving 
maximum value over a predetermined time period t D . 
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13. The method as claimed in the preceding 
claim 12, characterized in that the following holds 
true for the predetermined time period t D : t D » CI. 

14. The method as claimed in one of the preceding 
5 claims, characterized in that the following holds true 

for the predetermined value q v of the distribution 
quota qi starting from which the processor MPi 
distributes distributable load to other processors MP k : 
0.05<q v <0.3, preferably 0.1<q v <0.25, preferably qv=0.2. 
10 15. The method as claimed in one of the preceding 

claims, characterized in that the calculation of the 
distribution quota qi satisfies the following criteria: 

- Pi±: =0 

- if MPbij corresponds to an average load, 
15 preferably MPbij = NORMAL, the following holds 

true : 

pi j (new) = pi j (old) +p c i/n, for j = l,..., and i*j 

- if MPbij corresponds to a high load, 
preferably MPbi j=HIGH, the following holds true: 

20 Pij (new) = pi j ( old) -p c2 /n, for j=l,...,n and i^j 

- if MPbij corresponds to an overload, 
preferably MPbi j— OVERLOAD, the following holds true: 

Pij (new) = 0 

- in which case preferably the pij (j=i,..., n ) is 
25 normalized to 1 with the sum p sum of the pij and 

- as initialization value at the beginning of 
the distribution processes, all pij, excluding p iif are 
identical . 

16. The method as claimed in the preceding 

30 claim 15, characterized in that the following holds 
true for the constant p cl : 
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0.1<p c i<0.5, preferably 0.2<p c i<0.3, preferably 

p cl =0.25. 

17. The method as claimed in one of the preceding 
claims 15-16, characterized in that the following holds 

5 true for the constant p c2 : 0.1<p C 2<0.5, preferably 
0.2<p C 2<0.3, preferably p c2 =0.25. 

18. The method as claimed in one of the preceding 
claims 15-17, characterized in that the initialization 
value of the pij at the beginning of the distribution 

10 processes is set to be equal to (n-1)" 1 . 

19. The method as claimed in one of the preceding 
claims 15-18, characterized in that the calculation of 
the load indication values MPbii satisfies the 
following criteria: 

15 - if MPlsi corresponds to the highest load, 

preferably MPlsi=EXTREME, the following holds true: 
qi (new) =q c i, 

- if p sum > 1 holds true: 

- if the actual load state Yj. is greater 
20 than a predetermined value thresholds q± is increased 

where qi=min{ q±+c q i, 1 } , 

- if the actual load state Y ± is less than 
a predetermined value thresholds qi is decreased where 
q ± =max { qi-c q2 , c q3 } , where 0<c q 3<q v , preferably c q3 =0.1, 

25 - otherwise (threshold N < Y ± < threshold^ , 

qi obtains an intermediate value between the two 
alternatives mentioned above, preferably by linear 
interpolation 

- if Psum ^ 1 holds true: qi (new) =qi ( old) * 

30 Psum- 
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20. The method as claimed in the preceding 

claim 19, characterized in that the following holds 
true for the constant c qi : 0 . 05<c q i<0 . 3 , preferably 
0.1<c q i<0.2, preferably c q i=0.15. 
5 21. The method as claimed in one of the preceding 

claims 19-20, characterized in that the following holds 
true for the constant c q2 : 0 . 05<c q 2<0 . 2, preferably 
c q2 =0. 10. 

22. The method as claimed in one of the preceding 
10 claims 19-21, characterized in that the following holds 

true for the constant thresholds 

0.6 < threshold N < 0.8, preferably threshold N = 0.7. 

23. The method as claimed in one of the preceding 
claims 19-22, characterized in that the following holds 

15 true for the constant threshold^ 

0.7 < threshold H < 0.95, preferably threshold H = 0.85. 

24. The method as claimed in one of the preceding 
claims, characterized in that an overload value OLi of 
the processors MPi is additionally determined, which is 

20 a measure of the magnitude of the overload, where 
OLi=0,l,...m and the distribution quota q± is increased 
in any case if OLi>0 where q ± { new) : =min { qi ( old) +c q i , 1 } . 

25. A multiprocessor system, in particular of a 
communication system, having a plurality of processors 

25 MPi (where i=l,2,...,n) for executing tasks that arise 
under real-time conditions, in which case: 

- each processor MPi has means for determining 
its actual load state Yi, - 
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if appropriate for determining directly from this a 
multi-value load status (load state) MPlsi - and for 
estimating as a function of previously communicated 
distribution quotas qi (old) (where qi=load proportion to 
5 be distributed, if possible, to other processors MP k ) 
and the typically distributable proportion V of a 
typical task its offered load A ± , which leads to a 
multi-value load indication value (balancing indicator) 
MPbii, 

10 - each processor MPi has means for indirectly 

or directly communicating its load indication value 
MPbii to the respective other processors MP k (where 
k = 1,2, . . . . .n) , 

- each processor MPi has means for determining 
15 its load distribution probabilities p ±j (where 

j = l,2,...n) as a function of the load indication 
values MPbi k of said other processors MP k , 

- each processor MP ± has means for determining 
its distribution quota qi(new) as a function of its 

20 actual load state Yi and 

- each processor MPi has means for 
distributing, on the basis of its quota qi and its load 
distribution factors p ± j, its distributable load to 
other processors MP k if its distribution quota qi (new) 

25 exceeds a predetermined value q v . 

26. The multiprocessor system as claimed in 

claim 25, characterized in that one of the methods as 
claimed in one of claims 1-24 is implemented. 
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Abstract 

Load distribution method of a multiprocessor system, 
and multiprocessor system 

The invention relates to a method for load distribution 
in a real-time multiprocessor system and to a 
multiprocessor system, each processor carrying a 
distribution quota which fixes the proportion of the 
distributable load which is actually to be distributed. 
The distribution quota is determined anew at time 
intervals. The only information required by the other 
processors for each time interval are load value 
indicators, which depend on an estimated load. 
Probabilities indicating how load is transferred from 
one processor to the others during load distribution 
are additionally carried. Afterward, on the basis of 
its distribution quota and its load distribution 
factors, each processor distributes its distributable 
load to other processors if it distribution quota 
exceeds a predetermined value. 



Figure 1 
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Beschreibung 

Lastverteilungsverf ahren eines Multiprozessorsystems unci 
Multiprozessor system 

Die Erfindung betrifft ein Verfahren zur Lastverteilung in 
einem Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystem eines Kommunikat ions systems, bei dem 
anfallende Aufgaben von mehreren Prozessoren MPi (mit 
i=l, 2, . . . . , n) unter Realzeitbedingungen abgearbeitet werden 
konnen und ein Multiprozessorsystem, insbesondere eines 
Kommunikat ionssy stems, mit einem Lastverteilungsmechanismus . 

Ein ahnliches Verfahren zur Lastverteilung in einem 
Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystem eines Kommunikat ions systems, ist 
beispielsweise aus der Europaischen Patentanmeldung EP 0 645 
702 Al der Anmelderin bekannt. Diese Schrift offenbart ein 
Verfahren zum Lastenausgleich in einem Multiprozessorsystem, 
insbesondere ein Multiprozessorsystem eines 
Kommunikationssystems, bei dem anfallende Aufgaben von 
mehreren Prozessoren unter Realzeitbedingungen abgearbeitet 
werden konnen, wobei zur Durchfiihrung des Lastausgleiches 
allgemein die folgenden Verf ahrensschritte genannt sind: 

- jeder Prozessor ermittelt seinen Lastzustand in Form einer 
quantif izierten Grofie, 

- jedem Prozessor werden die Lastzustande der anderen 
Prozessoren innerhalb eines Zeitrasters mitgeteilt, 

- jeder Prozessor gibt in Abhangigkeit vom Oberschreiten 
einer bestimmten Grofie seines Lastzustandes und in 
Abhangigkeit von den Lastzustanden der ubrigen Prozessoren 
zumindest einen Teil der bei ihm anfallenden Aufgaben an die 
ubrigen Prozessoren ab, und 
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- die abgegebenen Aufgaben werden entsprechend den 
Lastzustanden der ubrigen Prozessoren auf diese aufgeteilt. 

Im Ausftihrungsbeispiel wird das Verfahren dahingehend 
konkretisiert, daft im Betrieb standig und vor dem Einstieg in 
die Lastverteilung, die hier erst ab dem Erreichen einer 
bestimmten Oberlast beginnt, Verteilungsquoten errechnet 
werden, nach denen die einzelnen Prozessoren im Fall der 
Oberlast an andere Prozessoren ihre verteilbare Last abgeben. 
1st das System dauerhaft ungleichmafiig ausgelastet, so wird 
die Last erst bei Oberlast eines oder mehrerer Prozessoren 
verteilt. Damit gent aber unnotige Lastabwehr einher. Die 
Reduktion der Oberlastschwelle auf einen niedrigeren Wert 
fuhrt zu keinem bef riedigenden Ergebnis, weil dann unnotig 
viel Last verteilt wird und es zu Schwingungs zus tanden kommen 
kann. Diese Situation ergibt sich aus der dort getroffenen 
Annahme, dali die Oberlast oder die ungleichmafiige Belastung 
von kurzer Dauer ist. 

Es ist daher Aufgabe der Erfindung, ein verbessertes 
Lastverteilungsverf ahren fur ein Multiprozessorsystem 
anzugeben, welches rechtzeitig und "weich" einsetzt und 
dadurch dauerhafte Schief last zustande im Lastangebot ohne 
Lastabwehr bewaltigt. AuBerdem soil auch ein entsprechendes 
Multiprozessorsystem angegeben werden. 

Die Aufgabe wird einerseits durch ein Verfahren mit den 
Verf ahrensschritten des ersten Verf ahrensanspruches und 
andererseits durch ein Multiprozessorsystem mit den Merkmalen 
des ersten Vorrichtungsanspruches gelost. 

Demgemafi schlagen die Erfinder ein Verfahren zur 
Lastverteilung in einem Multiprozessorsystem, insbesondere in 
einem Multiprozessorsystem eines Kommunikationssystems , bei 
dem anfallende Aufgaben von mehreren Prozessoren MPi (mit 
i=l , 2, . . . . , n) unter Realzeitbedingungen abgearbeitet werden 
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konnen, mit folgenden iterativen und sich in Zeitintervallen 

CI wiederholenden Verf ahrensschritten vor: 

jeder Prozessor MP ± ermittelt seinen tatsachlichen 
Lastzustand Yi - bestimmt gegebenenf alls direkt hieraus 
5 einen mehrwertigen Laststatus (load state) MPlsi - und 

schatzt in Abhangigkeit von zuvor mitgeteilten 
Verteilungsquoten qi (alt) (mit qi=an andere Prozessoren 
MP k nach Moglichkeit zu verteilender Lastanteil) und 
dem typischerweise verteilbaren Anteil V einer typischen 
10 Aufgabe seine angebotene Last A if die zu einem 

mehrwertigen Lastindikationswert (Balancing Indicator) 
MPbii fiihrt, 

jeder Prozessor MPi teilt seinen Lastindikationswert 
MPbii den jeweils anderen Prozessoren MP k (mit 

15 k=l, 2, . . . i-1, i+1, . . .n) mittelbar oder unmittelbar mit, 

jeder Prozessor MPi bestimmt seine 
Lastverteilungsf aktoren p ±j (mit j=l,2,....n) in 
Abhangigkeit von den Lastindikationswerten MPbik dieser 
anderen Prozessoren MP k , 

20 - jeder Prozessor MPi bestimmt seine Verteilungsquote 
qi (neu) in Abhangigkeit von seinem tatsachlichen 
Lastzustand Yi und den Lastverteilungsf aktoren p±j 
jeder Prozessor MPi verteilt anhand seiner Quote qi und 
seiner Lastverteilungsf aktoren pi-j seine verteilbare 

25 Last an andere Prozessoren MP k , wenn seine 

Verteilungsquote qi (neu) einen vorgegebenen Wert q v 
tiberschreitet . 



Zur Abschatzung der angebotenen Last Ai eines Prozessors MPi 
30 ist es vorteilhaft, die Formel Ai : =Y±/ ( 1-qiV) zu verwenden. 



Vorteilhaft ist auch eine Unterteilung des mehrwertigen 
Lastindikationswertes (balancing indicator) MPbii in drei 
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diskrete Werte, wobei vorzugsweise die folgende Abgrenzung 
mit Schwellenwerten gilt: NORMAL fur MPbii, wenn die 
Prozessorauslastung 0 bis 70% betragt, HIGH fur MPbii, wenn 
die Prozessorauslastung 70% bis 85% betragt, und OVERLOAD fur 
5 MPbii, wenn die Prozessorauslastung uber 85% betragt. 

Vorteilhaft ist es auch, wenn eine Hysterese bei 
Lastzustandswechsel aufgrund von Schwellenwertuberschreitung 
oder Schwellenwertunterschreitung bei steigender oder 
10 fallender Prozessorauslastung eingeftihrt wird. 

Aufterdem kann es vorteilhaft sein, wenn der 
Lastindikationswert (balancing indicator) MPbii beztiglich 
Anderungen einer zeitlichen Hysterese unterliegt und damit 
15 eine gewisse Tragheit erfahrt. Als Hysteresegrenze konnen 

vorteilhaft Werte von 1 bis 2 Zeitintervallen CI angenommen 
werden . 

Beztiglich des mehrwertigen Laststatus (load state) MPlsi wird 
20 als besonders bevorzugt die Annahme von vier diskreten Werten 
vorgeschlagen, wobei vorzugsweise angenommen wird: NORMAL fiir 
MPlSi, wenn die Prozessorauslastung unter 70% liegt, HIGH fur 
MPlSi, wenn die Prozessorauslastung 70% bis 85%, OVERLOAD fur 
MPlSi, wenn die Prozessorauslastung liber 85% liegt und 
25 EXTREME fur MPls if wenn dauerhaft der Lastzustand OVERLOAD 
vorherrscht. Auch hier kann es vorteilhaft sein, wenn der 
Laststatus (load state) MPlSi bezuglich Anderungen einer 
Hysterese unterliegt. Als Hysteresegrenze konnen vorteilhaft 
Werte von 1 bis 2 Zeitintervallen CI angenommen werden. 



30 



Weitere vorteilhafte Annahmen bei der Durchfuhrung des 

erf indungsgemaflen Verfahrens sind: der typische verteilbare 

Anteil V einer typischen Aufgabe soli der durchschnittliche 
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oder maximale Anteil sein und als typische Bearbeitungszeit 
einer Aufgabe soil eine durchschnittliche oder maximale 
Bearbeitungszeit einer Aufgabe angenommen werden. 
Vorteilhaft kann hierbei der jeweilige Durchschnittswert oder 
5 Maximalwert eines Anteils beziehungsweise einer Aufgabe auch 
wahrend der Betriebszeit standig ermittelt und gegebenenf alls 
als gleitender Wert mitgefiihrt und aktualisiert in das 
Lastverteilungsverf ahren ubernommen werden. Giinstig ist es 
hierbei, wenn die Zeitdauer, uber die die gleitenden Werte 
10 ermittelt werden, grofc gegenuber dem Kontrollintervall CI 
ist. 

Besonders vorteilhaft ist es auch, wenn fur den vorgegebenen 
Wert q v der Verteilungsquote qi, ab dem der Prozessor MPi 
15 verteilbare Last an andere Prozessoren MP k verteilt, gilt: 
0,05<q v <0,3, vorzugsweise 0,l<q v <0,25, vorzugsweise q v =0,2. 

Weiterhin kann das erf indungsgemafie Verfahren besonders 
vorteilhaft ausgestaltet werden, wenn bei der Berechnung der 
20 Verteilungsquote qi die folgenden Kriterien erflillt werden: 
p u := 0 

falls MPbij einer mittlere Last entspricht, vorzugsweise 
MPb i j =NORMAL , gilt: pij (neu) = pij (alt ) +p c i/n, fur 

j=l, . . . , n und i^j 
25 - falls MPbij einer hohen Last entspricht, vorzugsweise 

MPbij=HIGH gilt: Pij (neu) = pi j ( alt ) -p C 2/n, fiir j = l,...,n 
und i*j 

falls MPbij einer Oberlast entspricht, vorzugsweise 
MPbij=OVERLOAD, gilt: pij (neu) = 0 
30 - wobei vorzugsweise die p i3 tj=i,.., n ) niit der Summe p SU m der 
Pij auf 1 normiert wird und 
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als Initialisierungswert beim Beginn der 
Verteilungsprozesse alle p^, ausgenommen p ilf gleich 
sind. 

5 Als vorteilhafte Zahlenwerte konnen fur die Konstante p c i 

0,l<Pci<0,5, vorzugsweise 0,2<p c i<0,3 und vorzugsweise p cl =0,25 
angenommen werden. Ebenso ist es vorteilhaft fur die 
Konstante p C 2 0,l<p c2 <0,5, vorzugsweise 0,2<p C 2<0,3, 
vorzugsweise p c2 =0,25 zu setzen. Auch kann der 
10 Initialisierungswert der pij beim Beginn der 

Verteilungsprozesse gleich (n-1)" 1 gesetzt werden. 



Weiterhin kann das erf indungsgemafie Verfahren besonders 
15 vorteilhaft ausgestaltet werden, wenn bei der Berechnung der 
Lastindikationswerte MPbii die folgenden Kriterien erfullt 
werden : 

falls MPlSi der hochsten Last entspricht, vorzugsweise 
MPls i =EXTREME / gilt: qi(neu)=q c i, 
20 - falls p S um ^ 1 gilt: 

falls der tatsachliche Lastzustand Yi groBer als ein 
vorgegebener Wert threshold H ist, wird qi vergrofiert mit 
q 1 =min{q i + c q i / 1 } , 

falls der tatsachliche Lastzustand Yi kleiner als ein 
25 vorgegebene Wert threshold N ist, wird qi yerkleinert mit 

qi=max { qi-c q2 , c q3 }, mit 0<c q 3<q V / vorzugsweise c q3 =0,l, 
andernfalls (threshold N < Yi < threshold H ) erhalt qi 
einen Zwischenwert zwischen den beiden oben genannten 
Alternatives vorzugsweise durch lineare Interpolation 
30 - falls p SUIT1 < 1 gilt: qi (neu) =qi ( alt ) * p sum . 

Zur optimalen Ausgestaltung des Verfahrens sind fur die 
Konstante c q i die folgenden Zahlenbereiche und -werte 
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bevorzugt: 0, 05<c q i<0, 3, vorzugsweise 0, 1< c q i<0,2, 
vorzugsweise c qi =0,15. AuBerdem kann fur die Konstante c q2 
vorzugsweise 0,05< c q 2<0,2, vorzugsweise c q2 =0,10 angenommen 
werden. 



• Bezuglich der Konstanten threshold N gilt als bevorzugter 
Wertebereich: 0, 6< threshold N <0,8, vorzugsweise threshold N 
= 0,7. 

10 Bezuglich der Konstanten threshold H gilt als bevorzugter 

Wertebereich: 0,7< threshold H <0, 95, vorzugsweise threshold H 



Eine andere Ausgestaltung des .erf indungsgemaften Verfahrens 
15 sieht vor, daJl zusatzlich in jedem Zeitintervall CI ein 

Uberlastwert OLi der Prozessoren MPi ermittelt wird, der ein 
Mali fur die GroJie der Uberlast ist und als MaJistab zur 
Oberlastabwehr dient, mit OLi=0 , 1 , . . .m , und die 
Verteilungsquote qi auf jeden Fall vergroflert wird, falls 
20 OLi>0 mit qi (neu) : =min {qi ( alt ) + c q i,l. 

Erf indungsgemafi besteht auch die Moglichkeit, eine Adaption 
des Lastverteilungsverf ahrens an sich andernde 
Randbedingungen durchzuf uhren, indem die oben angegebenen 
25 Konstanten (q v , Pci/ Pc2/ q c i, q C 2, thresholds thresholds c qi , 
c q2 , Cq3) im Betrieb zumindest teilweise angepalit werden. 

Erf indungsgemafi wird aufierdem ein Multiprozessorsystem, 
insbesondere eines Kommun ikat ions syst ems , mit mehreren 
30 Prozessoren MPi (mit i=l , 2 n) zur Ausfuhrung anfallender 
Aufgaben unter Realzeitbedingungen, vorgeschlagen, wobei: 



5 



=0, 85. 



jeder Prozessor MPi Mittel aufweist, urn seinen 



tatsachlichen Lastzustand Yi zu bestimmen, - 
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gegebenenf alls direkt hieraus einen mehrwertigen 
Laststatus (load state) MPlsi zu bestimmen - und in 
Abhangigkeit von zuvor mitgeteilten Verteilungsquoten 
qi(alt) (mit qi=an andere Prozessoren MP k nach 
Moglichkeit zu verteilender Lastanteil) und dem 
typischerweise verteilbaren Anteil V einer typischen 
Aufgabe seine angebotene Last A L zu schatzen, die zu 
einem mehrwertigen Lastindikationswert (Balancing 
Indicator) MPbi ± ftihrt, 

jeder Prozessor MPi Mittel aufweist, um seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP k (mit k=l, 2, . . . i-1, i+1, . . .n) mittelbar 
oder unmittelbar mitzuteilen, 

jeder Prozessor MPi Mittel aufweist, um seine 
Lastverteilungswahrscheinlichkeiten p^ (mit 
j=l,2,....n) in Abhangigkeit von den 

Lastindikationswerten MPbi k dieser anderen Prozessoren 
MP k zu bestimmen, 

jeder Prozessor MPi Mittel aufweist, um seine 
Verteilquote qi (neu) in Abhangigkeit von seinem 
tatsachlichen Lastzustand Yi zu bestimmen, und 
jeder Prozessor MPi Mittel aufweist, um anhand seiner 
Quote qi und seiner Lastverteilungsf aktoren p i3 seine 
verteilbare Last an andere Prozessoren MP k zu verteilen, 
wenn seine Verteilquote qi (neu) einen vorgegebenen Wert 
q v uberschreitet . 

Erf indungsgemaft kann das oben vorgeschlagene 
Multiprozessorsystem so ausgestaltet werden, daft jeweils 
eines der oben genannten Verfahren implementiert ist, wobei 
die Implementierung durch eine entsprechende Programmierung 
der Prozessoren erfolgt. 
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Es ist noch darauf hinzuweisen, daB der Index (alt) sich 
jeweils auf die Werte des vorhergehenden Iterationsschrittes, 
beziehungsweise der Index (neu) sich auf den jetzt aktuellen 
Iterationsschritt beziehen. 

5 

Der besondere Vorteil des erf indungsgemafien Verfahrens und 
des entsprechenden Multiprozessorsystems liegt darin, dafi es 
im Gegensatz zum eingangs genannten Stand der Technik einen 
"weichen" Einstieg in die Lastverteilung gewahrleistet und 
10 dadurch anpassungsf ahiger, weniger anfallig gegen 

Schief lastsituationen ist und Schwingungszustande besser 
vermieden werden. Im Endeffekt wird hierdurch die 
Wahrscheinlichkeit fur die Abwehr von Aufgaben, insbesondere 
Vermitt lungs auf gaben reduziert. 

15 

Weitere Ausgestaltungen, zusatzliche Merkmale und Vorteile 
der Erfindung ergeben sich aus der nachf olgenden Beschreibung 
eines bevorzugten Ausf uhrungsbeispiels unter Bezugnahme auf 
die Zeichnungen. 

20 

Es versteht sich, dalS die vorstehend genannten und 
nachstehend noch zu erlauternden Merkmale der Erfindung nicht 
nur in der jeweils angegebenen Kombination, sondern auch in 
anderen Kombinationen oder in Alleinstellung verwendbar sind, 
25 ohne den Rahmen der Erfindung zu verlassen. 

Die Figuren zeigen im einzelnen: 

Figur 1 : Flufibild des anf allenden und verteilten 
30 Lastangebotes 

Figur 2a: Grafische Darstellung der Entscheidungen zur 

Aktualisierung der Lastverteilungsf aktoren 
Figur 2b: Grafische Darstellung der Entscheidungen zur 
Aktualisierung der Verteilungsquoten qi 
35 Figur 3: Formel zur linearen Interpolation von qi 
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Das erf indungsgemafie Verfahren (Normal Load Balancing=NLB) 
ist ein quotiertes Load Balancing Verfahren, das auf einem 
Multiprozessorsystem, insbesondere in einer 
Vermittlungsstelle eines Kommunikat ions systems, zur 
5 Verteilung anfallender Arbeitslasten auf die jeweils anderen 
Prozessoren ablauft und sicherstellen soil, daft andauernde 
Schief lastsituationen bewaltigt und moglichst alle 
angef orderten Aufgaben in moglichst kurzer Zeit abgearbeitet 
werden. Nachfolgend soli eine besonders vorteilhafte 
10 Aus fiihrungs form dieses Verfahrens beschrieben werden. 

Auf jedem Prozessor MPi mit i=l,2,...,n wird eine 
Verteilquote qi geftihrt, die den Anteil V der verteilbaren 
Last, der tatsachlich verteilt werden soli, festsetzt. Eine 

15 solche Quote ermoglicht einen weicheren Ein- beziehungsweise 
Ausstieg aus der Lastverteilung an andere Prozessoren. Auf 
diese Weise werden Schwingzustande und Lastschwankungen 
vermieden. Dies kann beispielsweise der Fall sein, wenn ein 
Prozessor so viel Last an einen anderen verteilt, daii dieser 

20 wiederum uberlastet wird. 

Die Verteilquote qi wird jedes Zeitintervall CI neu bestimmt. 
Die einzige Information, die jedes CI von den anderen 
Prozessoren MP k mit k=l , . . . i-1 , i + 1 , . . . n benotigt wird, sind 

25 Lastwertindikatoren (Balancing Indikatoren) MPbii. Diese 

Lastwertindikatoren sind - ahnlich wie die Laststatuswerte 
(Load States) von der Load Control - Lastzustande mit den 
Wertigkeiten NORMAL, HIGH oder OVERLOAD. Wahrend der Load 
State anhand der tatsachlich bearbeiteten Last Yi des 

30 Prozessors MPi bestimmt wird, wird der Lastwertindikatoren 
MPbii aus einer Schatzung der aktuell angebotenen Last Ai 
ermittelt. Die geschatzte angebotene Last Ai kann durch 
Lastverteilung erheblich mehr als die tatsachlich bearbeitete 
Last Yi sein und stellt die mafigebliche Grdfie dar, die (in 

35 Form des Lastwertindikators MPbii) ein Prozessor MPi den 
anderen MP k als Information zur Verfugung stellt. 
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Zusatzlich zur Verteilungsquote qi werden auf jedem MPi 
Wahrscheinlichkeiten gefuhrt, welche die 

Wahrscheinlichkeit angeben, dafi bei Lastverteilung Last vom 
i-ten Prozessor MPi auf den j-ten Prozessor MP^ ubertragen 
5 wird. Die Wahrscheinlichkeiten werden so bestimmt, dafl, wenn 
etwa der j-te Prozessor MPj schon viel Last zu bearbeiten hat 
und deshalb nur wenig zusatzliche Last aufnehmen kann, das 
zugehorige p i3 kleiner ist als das P iJc fur einen freien MP k . 

10 In Figur 1 wird das Zusammenspiel der pij und qi 

veranschaulicht . Die doppelte Indizierung "ij" der Kenngrofien 
besagt, daft jeweils der Prozessor mit der Nummer des ersten 
Index (hier i) jeweils eine "Spalte" von n Werten mit dem 
zweiten Index (hier j) kennt. Es ist zu bemerken, daft jeder 

15 Prozessor nur seine relevanten Werte (also seine Spalte) 
kennt, wobei insgesamt im System eine quadratische Matrix 
bekannt ist So ist zum Beispiel p i:S die Wahrscheinlichkeit, 
daft Last vom i-ten MP auf den j-ten MP verteilt wird, wenn 
der i-te MP zu viel Last hat. 

20 

In der Figur 1 ist aufterdem die tatsachlich bearbeitete Last 
des j-ten Prozessors MPj mit Yj , die geschatzte angebotene 
Last mit Aj und der Teil des Lastangebotes, der verlagert 
werden kann, mit a bezeichnet. Die gezeigte Lastsi tuation ist 

25 Uberlast (OVERLOAD) auf MP X , auf den MP k mit k=2,3,4 ist noch 
Raum fur zusatzliche Aufgaben. Es wird gezeigt, wie der MPi 
einen ersten Teil der Last selbst bearbeitet und den Rest a 
verteilt. Von diesem Rest a geht der grofite Anteil an MP 3 , 
der kleinste Anteil an MP 4 , der in diesem Beispiel also schon 

30 viel eigene Last zu bearbeiten hat. Nicht eingezeichnet sind 
die Lasten, welche die MP k aufier von MPi noch erhalten. Die 
Breite der FlieJibalken stellen ein Mali fiir die GroBe der Last 
dar . 

35 Gemafi dem Erf indungsgedanken ergibt sich also der folgende 
Algorithmus: Meldet der j-te Prozessor MP} den Balancing 
Indikator NORMAL, wird auf dem jeweils betrachteten MPi das 
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Pi3 vergrofiert. Es steigt also die Wahrscheinlichkeit, daft 
dieser Prozessor MPi Last an MPj abgibt, wenn er Last 
verteilen mufi. Wird der Balancing Indikator HIGH gemeldet, so 
wird das p ± j verkleinert. Wird der Balancing Indikator 
5 OVERLOAD gemeldet, wird pij auf Null gesetzt, so daft keine 
Last an den j-ten Prozessor MPj abgegeben wird. Die 
Verteilungsquote qi wird anschliefiend an die Bestimmung der 
Pij verandert. Konnten viele der p i3 vergroJiert werden, so ist 
die Summe der p^ uber j grofier 1 und offenbar noch Platz auf 
10 den anderen Prozessoren MP k . Die Verteilungsquote qi kann 

also nach den Erf ordernissen des (betrachteten) Prozessors 
verandert werden. 

Bei hoher Last Yi auf dem betrachteten Prozessor MPi wird die 
Verteilungsquote qi vergroBert, bei niedriger Last wird qi 
15 verkleinert. Sind viele der p^ verringert worden, dann ist 

die Summe der p i:l uber j kleiner 1 und die Verteilungsquote qi 
mufi verringert werden. 

Eine Veranschaulichung dieser Entscheidungen ist in den 
20 Figuren 2a und 2b dargestellt. Die Entscheidungsdiagramme 

zeigen die Aktualisierungsalgorithmen fur p i3 (Figur 2a) und 
fur Verteilungsquote qi (Figur 2b) , die jedes Zeitintervall 
CI fur den i-ten Prozessor MPi durchgefuhrt werden. 

25 Bei dem er f indungsgemafien Lastverteilungsverf ahren (NLB) 

werden einige Parameter (Konstanten) benotigt, deren Wahl das 
Verhalten in bestimmten Lastsituationen stark beeinflussen 
kann. Es ergibt sich in den meisten Fallen ein Konflikt 
zwischen einem Lastverteilungsverf ahren, das schnell auf 

30 Lastanderungen reagieren kann, und einem stabilen 

Lastverteilungsverf ahren, das nicht zu Schwingungen und zum 
Weiterverteilen von Aufgaben neigt. "Weiterverteilen" 
bedeutet hier das gleichzeitige Verteilen von eigener Last 
und das Bearbeiten von fremder Last auf einem Prozessor. 

35 

Folgende Parameterveranderungen bewirken ein schneller 
reagierendes NLB: 
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Das starkere Verandern von qs mit: 0,15<c qi , 0, l<c q 2 
Das starkere Verandern der p i3 mit: 0,25<p c i, 0, 25<p c2 
Das spatere Setzen der Lastindikationswerte MPbii mit: 
threshold H >0, 7 {d.h. erst bei hoherer Last ' HIGH 1 an die 
5 anderen Prozesssoren MPk melden) 

Detailliert verlauft das bevorzugte Verfahren bei einem 
Multiprozessor-Kommunikationsrechner also wie f olgt : 

10 Als Dauer des Zeitintervalls (Kontrollintervall) CI des 

Zeitrasters, mit dem das Verfahren iterativ ablauft, wird bei 
den derzeit bekannten Multiprozessorsystemen der 
Vermittlungstechnik bevorzugt 1 bis 2 Sekunden gewahlt. Es 
ist selbstverstandlich, dafi mit steigender Prozessorleistung 

15 das Zeitintervall gekurzt werden kann. 

Jedes Kontrollintervall CI werden die Groflen qi, p 13 , MPlsi 
und MPb i:j aktualisiert . 

20 Die tatsachlich bearbeitete Last Y A eines Prozessors MPi wird 
als Prozessorlauf zeitgrofie, gemessen in Erlang, ermittelt. 

Die geschatzte angebotene Last A 3 eines Prozessors MPi wird 
aus der Verteilquote qi des aktuellen Kontrollintervalls CI 
25 und dem geschatzten verteilbaren Anteil einer 

durchschnittlichen Aufgabe, zum Beispiel der Abarbeitung 
eines Calls, ermittelt. 

Es gilt: 

30 Die Anzahl der Prozessoren MPi im Multiprozessorsystem ist n. 

Ai := Yi/fl-qiV), wobei V der verteilbare Anteil eines Calls 
ist. 

35 MPlsi: Load State des i-ten MPs, kann die Werte NORMAL, HIGH, 
OVERLOAD oder EXTREME annehmen . Zur Berechnung des Load 
States wird die tatsachlich bearbeitete Last Yi herangezogen . 
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Zur Vermeidung von vorschnellen Anderungen des MPlsi werden 
Hysteresen eingefuhrt. Wird etwa der MPlsi von NORMAL auf 
HIGH gesetzt, muJi Yi > threshold N + A+ sein, wohingegen, urn 
von HIGH nach NORMAL zu kommen, Yi < threshold N - A_ sein 
5 mufl. Diese Vorgehensweise ist auch als High Water-Low Water 
Methode bekannt. Bei EXTREME muli aus systemtechnischen 
Griinden der Vermittlungsstelle das Verteilungsverf ahren (Load 
Balancing) fur diesen Prozessor MPi abgeschaltet werden. 

10 threshold N : Ist die Normallastschwelle - nach 

Berucksichtigung einer Hysterese wird unterhalb dieser der 
MPls als NORMAL gefuhrt, oberhalb als HIGH. 

threshold H : Hochlastschwelle - nach Berucksichtigung einer 
15 Hysterese und einer lastabhangigen zeitlichen Verzogerung 

(Startindikator ) wird unterhalb dieser Schwelle der MPls als 
HIGH gefuhrt, oberhalb als OVERLOAD. 

Der Lastindikationswert (Balancing Indikator) MPbii des i-ten 
20 Prozessors MPi kann die Werte NORMAL, HIGH oder OVERLOAD 

annehmen. Dieser wird wie der MPlSi berechnet, nur wird hier 
anstelle der tatsachlichen Last Yi die geschatzte angebotene 
Last Ai zugrundegelegt und andere Werte flir A+ und A. 
genommen, mit A+ = A_ = 0.02. 

25 

Zusatzlich wird ein Overload Level OLi des Prozessors MPi 
bestimmt, der die Werte 0... 6 annehmen kann und als 
Quantif i zierung des Uberlast zustandes des Prozessors MPi 
gedacht ist. Ist der OLi>0, werden Calls abgewehrt, je hoher 
30 der Wert, desto wahrscheinlicher wird ein Call abgewiesen. 

Die Last, die von MPi nach MP-j verteilt werden soil, wird als 
Wahrscheinlichkeit pij ausgedruckt und kann somit Werte 
zwischen 0 und 1 annehmen. 

35 

Die Grofie des Wertes pij bestimmt sich durch folgende 
Kriterien: 
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Initialisiere Pij mit Pii: = (n-1)"* 

p ii: = o, MPi soli nicht an sich selbst verteilen. 
Falls MPbij=NORMAL: p^ — > p i3 + 0.25/n, j=l,...,n, 
i*j . Das alte p i3 kann vergrofiert werden, weil auf 
5 dem Prozessor MP^ noch Platz ist. 

Falls MPbi-j=HIGH : p 13 — > p i3 - 0.25/n. Das alte p^ 
mufi verkleinert werden, weil MPj voll ausgelastet 
ist. 

Falls MPbi j=OVERLOAD : p i3 = 0 . Es soil keine Last an 
10 uberlastete Prozessoren MP n abgeben werden. 

Die neu bestimmten p i3 mussen noch normiert werden: 
Setze Psum = summe(Pij) uber j=l,..,n 
und normiere (falls p SU m > 0) mit p i3 — > pij/Psum 

15 

AnschlieBend wird die Verteilungsquote qi mit den folgenden 
Kriterien bestimmt: 

Initialisierungswert : qi = 0.1 

Falls der MPlSi =EXTREME : qi = 0.1. Dieser MP ist so 
20 stark uberlastet, dali ihn auch der Eigenanteil fur einen 

verteilten Call uberfordern wurde . Deshalb kein Load 

Balancing, sondern nur Abwehr; das Load Balancing ist 

zudem aus systemtechnischen Grunden der 

Vermittlungsstelle nicht sinnvoll . 
25 - Falls psum > 1* kann offenbar raehr Last verteilt werden. 

Dann kann qi nach den Er f ordernissen des MPi bestimmt 

werden, mit: 

1. Falls der OLi > 0, qi auf jeden Fall vergroBern 
mit: qi — > min {qi + 0.15, 1} 
30 2. Falls Yi > thresholds qi vergroftern mit: q^ — > min 

{ qi + 0. 15, 1} 

3. Falls Yi < thresholds qi verkleinern mit: qi — > 
max {qi - 0.10, 0.1}. 

4. Andernfalls, falls threshold N < Yi < threshold H 
35 gilt: 

qi — >min{max{qi+ (0.25/ ( thresholds thresholds ) * (Yi- 
threshold H ) -0.1, 0.1}, 1.0} 
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Dies ist die lineare Interpolation zwischen der 
obigen Vergrofierung um 0.15 und der obigen 
Verkleinerung um 0.1. Die Formel ist nochmals in 
besser lesbarer Weise in der Figur 3 dargestellt. 

5 

Falls p sum < 1. wurde offenbar zuviel Last verteilt und qi 
mufi verkleinert werden mit: q A — > qi * Psum- 

Der Prozessor MPi verteilt Last an andere Prozessoren 
10 MP k / wenn qi > 0.25 wird. 

Das erfindungsgemafie Verfahren weist somit die folgenden 
Eigenschaf ten und Vorteile auf : 

15 

Ein sehr geringer Inf ormationsoverhead zwischen den am 
Lastverteilungsverf ahren beteiligten Prozessoren. Gegenseitig 
bekannt sind nur wenige, vorzugsweise dreiwertige 
Lastzustande, die nur einmal pro Kontrollintervall 
20 aktualisiert und verteilt werden. 

Fur jeden Prozessor gibt es eine Quote, die jedes 
Kontrollintervall aktualisiert wird und die den Anteil der 
Last regelt, die vom betrachteten Prozessor an die anderen 
25 beteiligten Prozessoren verteilt werden soil. 

Fur jeden Prozessor gibt es Einzelregulatoren, welche die zu 
verteilende Last auf die anderen Prozessoren aufteilen. 

30 Das Verfahren ist nicht nur als "Feuerwehrmalinahme" 

konzipiert, das erst wirksam wird, wenn ein Prozessor in 
Uberlast gerat und gegebenenf alls Aufgaben (Calls) abgewehrt 
werden, sondern es setzt die Lastverteilung friiher und 
weicher ein. Dadurch konnen Dauerschief last zustande besser 

35 und mit weniger abgewiesenen Aufgaben (Calls) verarbeitet 
werden. 
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Im erf indungsgemaBen Verfahren werden die Lastzustande, die 
an die anderen Prozessoren verteilt werden, konsequent anhand 
der geschatzten angebotenen Last und nicht anhand der 
tatsachlich bearbeiteten Last ermittelt. 

5 

Das Verfahren benotigt kein Load Balancing Flag, das den 
Einstieg in die Lastverteilung regelt. Der Einstieg wird uber 
die Verteilquote qi geregelt. Weiterhin sind durch das Fehlen 
eines Load Balancing Flags gegenseitige Abhangigkeiten 
10 zwischen den Lastzustanden und dem Load Balancing Flag 

eliminiert worden. Dadurch ist eine nachtragliche Anpassung 
des Algorithmus an veranderte Bedingungen leichter moglich. 

Die lastabhangige Veranderung der Einzelregulatoren 
15 (Lastverteilungsf aktoren p±j) geschieht in Abhangigkeit von 
der Anzahl n der an der Lastverteilung beteiligten 
Prozessoren. Somit ist das Verfahren unabhangig von der 
Anzahl der beteiligten Prozessoren. 

20 Die lastabhangige Veranderung der Verteilungsquoten und der 

Einzelregulatoren pro Kontrollintervall geschieht so, daJJ ein 
zu langsames "Heranschleichen" an den optimalen Wert 
vermieden wird. 

25 Die lastabhangige Veranderung der Einzelregulatoren vermeidet 
ein Verharren der Werte auf die Einstellung der 
vorangegangenen Lastverteilungsperiode wahrend einer Periode 
ohne Lastverteilung. Es wird vielmehr auf eine 
Ausgangsstellung zuriickgeregelt . 

30 

Die aus dem Stand der Technik bekannte Tragheit in der 
Veranderung der Quoten wurde entfernt, urn ein leichteres 
Nachfilhren an die tatsachlich vorliegende Lastsituation zu 
ermoglichen . 
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Patentanspruche 

1. Verfahren zur Lastverteilung in einem 

Multiprozessorsystem, insbesondere in einem 
5 Multiprozessorsystem eines Kommunikat ions systems, bei 

dem anfallende Aufgaben von mehreren Prozessoren MPs 
(mit i=l, 2, . . . . , n) unter Realzeitbedingungen 
abgearbeitet werden konnen, mit folgenden iterativen und 
sich in Zeitintervallen CI wiederholenden 
10 Verfahrensschritten: 

jeder Prozessor MPi ermittelt seinen tatsachlichen 
Lastzustand Yi - bestimmt gegebenenf alls direkt 
hieraus einen mehrwertigen Laststatus (load state) 
MPlsi - und schatzt in Abhangigkeit von zuvor 
15 mitgeteilten Verteilungsquoten qi(alt) (mit qi=an 

andere Prozessoren MP k nach Moglichkeit zu 
verteilender Lastanteil) und dem typischerweise 
verteilbaren Anteil V einer typischen Aufgabe 
seine angebotene Last A if die zu einem mehrwertigen 
20 Lastindikationswert (Balancing Indicator) MPbii 

fuhrt, 

jeder Prozessor MPi teilt seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP k (mit k=l , 2 , . . . i-1 , i+1 , . . . n) 

25 mittelbar oder unmittelbar mit, 

jeder Prozessor MPi bestimmt seine 
Lastverteilungswahrscheinlichkeiten pi-j (mit 
j=l,2,....n) in Abhangigkeit von den 
Lastindikationswerten MPbi k dieser anderen 

30 Prozessoren MP k , 

jeder Prozessor MP± bestimmt seine Verteilungsquote 
qi (neu) in Abhangigkeit von seinem tatsachlichen 
Lastzustand Yi und den Lastverteilungsf aktoren p i3 
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5 
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10 

3. 

15 



4 . 

20 



5. 

25 



30 

6. 



jecier Prozessor MPi verteilt anhand seiner Quote 
und seiner Lastverteilungsf aktoren pij seine 
verteilbare Last an andere Prozessoren MP k wenn 
seine Verteilquote qi(neu) einen vorgegebenen Wert 
q v iiberschreitet . 

Verfahren gemafi dera voranstehenden Anspruch 1, dadurch 
gekennzeichnet, daii die geschatzte angebotene Last Ai 
eines Prozessors MPi nach der Formel Ai : =Yi/ ( 1-qiV) 
errechnet wird. 

Verfahren gemafi einem der voranstehenden Anspruche, 
dadurch gekennzeichnet, daB der mehrwertige 
Lastindikationswert (balancing indicator) MPbii drei 
diskrete Werte, vorzugsweise NORMAL (=0 bis 0,7), HIGH 
(=0,7 bis 0,85) und OVERLOAD (=0,85 bis 1) annehmen 
kann . 

Verfahren gemafi dem voranstehenden Anspruch 3, dadurch 
gekennzeichnet, dafi der Lastindikationswert (balancing 
indicator) MPbii beziiglich Anderungen einer Hysterese 
unterliegt . 

Verfahren gemafi einem der voranstehenden Anspruche, 
dadurch gekennzeichnet, dafi der mehrwertige 
Laststatus (load state) MPlsi vier diskrete Werte, 
vorzugsweise NORMAL (=0 bis 0,7), HIGH (=0,7 bis 0,85), 
OVERLOAD (=0,85 bis 1) und EXTREME (wenn Laststatus 
uber mehrere CI OVERLOAD) annehmen kann. 

Verfahren gemaJi dem voranstehenden Anspruch 3, dadurch 
gekennzeichnet, dafi der Laststatus (load state) MPlsi 
beziiglich Anderungen einer Hysterese unterliegt. 
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7. Verfahren gemafi einem der voranstehenden Anspriiche, 
dadurch gekennz e ichne t , dafi der Wert der 
tatsachlichen Last Yi proportional zur Prozessorlauf zeit 

5 ist . 

8. Verfahren gemafi einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, daft als typischer 
verteilbarer Anteil V einer typischen Aufgabe CallP der 

10 durchschnittliche Oder maximale Anteil ist. 

9. Verfahren gemafi dem voranstehenden Anspruch 8, dadurch 
gekennzeichnet, dafi der durchschnittliche oder 
maximale Anteil einer typischen Aufgabe standig als 

15 gleitender Durchschnitt oder gleitender Maximalwert uber 

eine vorgegebene Zeitspanne t D ermittelt wird. 

10. Verfahren gemaft dem voranstehenden Anspruch 9, dadurch 
gekennzeichnet, dafi ftir die vorgegebene Zeitspanne t D 

20 gilt: t D » CI. 

11. Verfahren gemaft einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, dafi als typische Aufgabe 
eine durchschnittliche oder maximale Aufgabe angenommen 

25 wird. 

12. Verfahren gemaft dem voranstehenden Anspruch 8, dadurch 
gekennzeichnet, dali die durchschnittliche oder 
maximale Aufgabe standig als gleitender Durchschnitt 

30 oder gleitender Maximalwert uber eine vorgegebene 

Zeitspanne t D ermittelt wird. 
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13. Verfahren gemaft dem voranstehenden Anspruch 12, dadurch 
gekennzeichnet, dafi fur die vorgegebene Zeitspanne t D 
gilt: t D » CI. 



5 14. Verfahren gemaU einem der voranstehenden Anspruche, 

dadurch gekennzeichnet, dafi fur den vorgegebenen Wert 
q v der Verteilquote qi, ab dem der Prozessor MPi 
verteilbare Last an andere Prozessoren MP k verteilt 
gilt: 0,05<q v <0,3, vorzugsweise 0,l<q v <0,25, 
10 vorzugsweise qv=0,2. 

15. Verfahren gemafi einem der voranstehenden Anspruche, 
dadurch gekennzeichnet, daft die Berechnung der 
Verteilquote qi die folgenden Kriterien erfiillt: 
15 - pn : = 0 

falls MPbij einer mittlere Last entspricht, 
vorzugsweise MPbij=NORMAL, gilt: 

Pij (neu) = pij (alt ) +p ci /n, fur j = l,...,n und i*j 
falls MPbij einer hohen Last entspricht, 
20 vorzugsweise MPbij=HIGH gilt: 

Pij (neu) = pij (alt ) -p c2 /n, fur j = l,...,n und i*j 
falls MPbij einer Oberlast entspricht, vorzugsweise 
MPbij =OVERLOAD, gilt : 
Pij (neu) = 0 

25 - wobei vorzugsweise die Pij (j=i,.., n ) niit der Summe p SU m 

der pij auf 1 normiert wird und 
als Initialisierungswert beim Beginn der 
Verteilungsprozesse alle pi j , ausgenommen Pii, 
gleich sind. 

30 



16. 



Verfahren gemali dem voranstehenden Anspruch 15, dadurch 
gekennzeichnet, daft fur die Konstante p c i gilt: 
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0,l<Pci<0,5, vorzugsweise 0,2<p c i<0,3, vorzugsweise 
p c i=0, 25. 

Verfahren gemaU einem der voranstehenden Anspruche 15- 

16, dadurch gekennzeichnet, daB fur die Konstante p C 2 
gilt: 0, Kp c2 <0 / 5, vorzugsweise 0,2<p C 2<0,3, vorzugsweise 
p c2 =0,25. 

Verfahren geraafi einem der voranstehenden Anspruche 15- 

17, dadurch gekennzeichnet, daii der 
Initiaiisierungswert der beim Beginn der 
Verteilungsprozesse gleich (n-l)" 1 gesetzt wird. 

Verfahren gemaft einem der voranstehenden Anspruche 15- 

18, dadurch gekennzeichnet, dafi die Berechnung der 
Lastindikationswerte MPbii die folgenden Kriterien 
erfiillt : 

falls MPlsi der hochsten Last entspricht, 
vorzugsweise MPlsi=EXTREME, gilt: 
20 qi(neu)=q c i, 

falls p S um ^ 1 gilt: 

falls der tatsachliche Lastzustand Yi grolier 
als ein vorgegebener Wert threshold H ist, wird 
qi vergrofiert mit qi=min{ qi + c q i, 1 } , 
25 - falls der tatsachliche Lastzustand Yi kleiner 

als ein vorgegebener Wert threshold N ist, wird 
qi verkleinert mit qi=max { qi-c q2 , c q 3}, mit 
0<c q 3<q v , vorzugsweise c q 3=0,l, 
andernfalls (threshold N ^ Yi < thresholds 
30 erhalt qi einen Zwischenwert zwischen den 

beiden oben genannten Alternativen, 
vorzugsweise durch lineare Interpolation 
falls p sum < 1 gilt: qi (neu) =qi (alt ) * p SU m. 



17. 

5 



18. 

10 



19. 

15 
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20. Verfahren gemafi dem voranstehenden Anspruch 19, dadurch 
gekennzeichnet, dafi fur die Konstante c q i gilt: 

0, 05<c q i<0 / 3, vorzugsweise 0, 1< c ql <0,2, vorzugsweise 
c q i=0, 15. 

21. Verfahren gemafi einem der voranstehenden Anspruche 19- 

20, dadurch gekennzeichnet, dafi ftir die Konstante c q2 
gilt: 0,05< c q2 <0,2, vorzugsweise c q2 =0 / 10. 

22. Verfahren gemafi einem der voranstehenden Anspruche 19- 

21, dadurch gekennzeichnet, dafi fur die Konstante 
threshold N gilt: 0, 6 < threshold N < 0,8, vorzugsweise 
threshold N =0,7. 

23. Verfahren gemafi einem der voranstehenden Anspruche 19- 

22, dadurch gekennzeichnet, dafi fur die Konstante 
threshold H gilt: 0,7 < threshold H < 0,95, vorzugsweise 
threshold H =0, 85 

24. Verfahren gemafi einem der voranstehenden Anspruche, 
dadurch gekennzeichnet, dafi zusatzlich ein 
Uberlastwert OLi der Prozessoren MPi ermittelt wird, der 
ein Mali fiir die Grofie der Uberlast ist, mit OLi=0,l,...m 
und die Verteilquote qi auf jeden Fall vergrofiert wird, 
falls OLi>0 mit qi (neu) : =min{ qi (alt ) +c q i, 1 } . 

25. Multiprozessorsystem, insbesondere eines 
Kommunikations systems, mit mehreren Prozessoren MPi (mit 
i=l , 2, . . . . , n) zur Ausfuhrung anfallender Aufgaben unter 
Realzeitbedingungen, wobei: 



jeder Prozessor MPi Mittel aufweist, um seinen 



tatsachlichen Lastzustand Yi zu bestimmen, - 



GR 99 P 1082 



24 



10 



15 



20 



gegebenenf alls direkt hieraus einen mehrwertigen 
Laststatus (load state) MPlSi zu bestimmen - und in 
Abhangigkeit von zuvor mitgeteilten 
Verteilungsquoten qi(alt) (mit qi=an andere 
Prozessoren MP k nach Mbglichkeit zu verteilender 
Lastanteil) und dem typischerweise verteilbaren 
Anteil V einer typischen Aufgabe, seine angebotene 
Last Ai zu schatzen, die zu einem mehrwertigen 
Lastindikationswert (Balancing Indicator) MPbii 
fiihrt, 

jeder Prozessor MPi Mittel aufweist, urn seinen 
Lastindikationswert MPbi A den jeweils anderen 
Prozessoren MP k (mit k=l , 2 , . . . i-1 , i+1 , . . . n) 
mittelbar oder unmittelbar mitzuteilen, 
jeder Prozessor MPi Mittel aufweist, urn seine 
Lastverteilungswahrscheinlichkeiten p i:j {mit 
j=l / 2 / ....n) in Abhangigkeit von den 
Lastindikationswerten MPbi k dieser anderen 
Prozessoren MP k zu bestimmen, 

jeder Prozessor MPi Mittel aufweist, urn seine 
Verteilquote qi (neu) in Abhangigkeit von seinem 
tatsachlichen Lastzustand Yi zu bestimmen, und 
jeder Prozessor MPi Mittel aufweist, urn anhand 
seiner Quote qi und seiner Lastverteilungsf aktoren 
pij seine verteilbare Last an andere Prozessoren MP k 
zu verteilen, wenn seine Verteilquote qi (neu) einen 
vorgegebenen Wert q v uberschreitet . 
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26. Multiprozessorsystem gemafi Anspruch 25, dadurch 
gekennzei chne t , daB eines der Verfahren gemaii einem der 
Anspriiche 1-24 implementiert ist. 
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25 

Zusammenf as sung 

Lastverteilungsverf ahren eines Multiprozessorsystems und 
Multiprozessor system 

5 

Die Erfindung betrifft ein Verfahren zur Lastverteilung in 
einem Realzeit-Multiprozessorsystem und ein 
Multiprozessorsystem, wobei auf jedem Prozessor eine 
Verteilquote gefuhrt wird, die den Anteil der verteilbaren 

10 Last, der tatsachlich verteilt werden soil, festsetzt. Die 
Verteilquote wird in Zeitintervallen neu bestimmt. Die 
einzige Information, die jedes Zeitintervall von den anderen 
Prozessoren benotigt wird, sind Lastwertindikatoren, die von 
einer geschatzten Last abhangen. Zusatzlich werden 

15 Wahrscheinlichkeiten gefuhrt, welche angeben, wie bei 

Lastverteilung Last von einem auf die anderen Prozessoren 
iibertragen wird. Anschliefiend verteilt jeder Prozessor anhand 
seiner Verteilquote und seiner Lastverteilungsf aktoren seine 
verteilbare Last an andere Prozessoren, wenn seine 

20 Verteilquote einen vorgegebenen Wert uberschreitet . 



Figur 1 



Fig. 2 







NORMAL 








MPbi ; 



HIGH 







OVERLOAD 







pij erhohen 



pij verringern setze py = 0 



J=1 



<1 



*1 



Yj 



qi vernngern 



> thresholdu 



> threshold u 



q ; verringern % (neu) fe qi (alt) q ; vergroBern 



This Page is Inserted by IFW Indexing and Scanning 
Operations and is not part of the Official Record 



Defective images within this document are accurate representations of the original 
documents submitted by the applicant. 



Defects in the images include but are not limited to the items checked: 

□ BLACK BORDERS 

□ IMAGE CUT OFF AT TOP, BOTTOM OR SIDES 



FADED TEXT OR DRAWING 

□ BLURRED OR ILLEGIBLE TEXT OR DRAWING 

□ SKEWED/SLANTED IMAGES 

□ COLOR OR BLACK AND WHITE PHOTOGRAPHS 

□ GRAY SCALE DOCUMENTS 

□ LINES OR MARKS ON ORIGINAL DOCUMENT 

□ REFERENCE(S) OR EXHIBIT(S) SUBMITTED ARE POOR QUALITY 

□ OTHER: 

IMAGES ARE BEST AVAILABLE COPY. 
As rescanning these documents will not correct the image 
problems checked, please do not report these problems to 
the IFW Image Problem Mailbox. 



BEST AVAILABLE IMAGES 




